Gemma 4 31B Ghetto NF4

☢️ Gemma 4 31B — Ghetto NF4 Edition

[EN] This repository is a product of high-speed guerrilla MLOps, forged in the fires of "Ghetto AI Manifesto v3.0". We took the massive Gemma 4 31B and compressed it into a 4-bit "cryo-chamber" using nothing but free Kaggle resources, bypassing strict disk limits and artificial barriers.

[RU] Этот репозиторий — плод скоростного партизанского MLOps, созданный по заветам Ghetto AI Manifesto v3.0. Мы взяли массивную Gemma 4 31B и упаковали её в 4-битную «криокамеру» на бесплатных мощностях Kaggle, обойдя лимиты диска и искусственные барьеры.

---

🌍 Intelligence Knows No Borders / Интеллект не имеет границ

[EN] Hello to sanctions: You can restrict the silicon, but you can't restrict the math. While corporations build walls, we build bridges out of "acorns and sticks." Knowledge is a global fire, and we've just brought a torch to the dark side of the moon.

[RU] Привет санкциям: Можно ограничить доступ к железу, но нельзя ограничить доступ к математике. Пока корпорации строят стены, мы строим мосты из «желудей и палок». Знания — это общий огонь, и мы только что принесли факел на тёмную сторону луны.

---

🎧 Soundtrack for MLOps: Livadies (Virtual Artist)

[EN] While the GPU fans were spinning and compiling this model, the cyberpunk beats were provided by Livadies — a virtual artist project pushing the boundaries of digital music. Check out the latest 2026 drops like RUSSIAN WINTER '26 and Cyberphonk. I would be extremely grateful for any likes, streams, and playlist additions!

[RU] Пока вентиляторы GPU гудели на износ, компилируя эту модель, саундтрек для кодинга обеспечивал Livadies — проект виртуального артиста. Зацените мои свежие треки 2026 года (такие как RUSSIAN WINTER '26 и Колыбельные для Мёртвых). Буду рад любым лайкам, прослушиваниям и добавлениям в плейлисты — давайте раскачаем алгоритмы вместе!

🎶 Listen & Support / Слушать на стримингах:

• 🔴 YouTube Music
• 🟢 Spotify
• 🟡 Yandex Music (Яндекс Музыка)
• 🟣 Apple Music

---

🚀 Technical Specs / Технические характеристики

• Quantization: 4-bit NF4 (bitsandbytes). Reduced from 62GB to 18.3GB.
• VRAM Friendly: Fits perfectly into 24GB VRAM (RTX 3090/4090) or 2x T4 setup.
• Multimodal: Vision + Text. This beast can "see" through its vision_tower.
• Fast Boot: No more downloading 60GB of raw weights. Get straight to inference.

---

🛠 Quick Start / Быстрый запуск

from transformers import AutoModelForCausalLM, AutoProcessor
import torch

model_id = "livadies/gemma-4-31B-Ghetto-NF4"

# Load the beast / Загружаем монстра
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    device_map="auto",
    trust_remote_code=True
)

processor = AutoProcessor.from_pretrained(
    model_id, 
    trust_remote_code=True
)

print("☢️ Matrix synchronized. System ready.")