Tecnocriollo

Nerd que le entusiasma la tecnología, Star Wars, la fórmula 1 y también peleo a veces sobre política

[Alok @analogalok]

Run Gemma 4 26B MoE on 8GB VRAM with 250k context at 20+ tokens/sec

If you own any 8GB VRAM graphics card, stop what you are doing. Local AI just had its absolute "Holy Shit" moment for budget hardware.

Yesterday, I benchmarked Unsloth Gemma 4 12B Q4_K_XL on an 8GB card.

The community went wild but immediately demanded more: "Can we run a 25B+ model on budget GPUs?"

Today, I’m delivering exactly that.

I am running a massive 26B parameter Mixture of Experts (MoE) model locally on a standard 8GB VRAM setup with 250k full native context!.

If you own an RTX 3060, 3070, 4060, or any budget GPU with 8GB of VRAM, the local AI paradigm has completely changed.

The performance metrics are astonishing:

- 20 tokens/sec flat decode throughput.
- Stable, flat decode speed even with massive prompts.
- I threw a 60k token prompt at it, and it still clocked in at 20 TPS without dropping a single frame.

# What about prefill?

Yes, Time To First Token (TTFT) is slightly high when swallowing massive contexts. But with a solid 200 tokens/sec prefill speed, the wait is barely noticeable and highly usable.

And this is running completely without Multi Token Prediction (MTP) active.

How is this possible? It’s the magic of Google's new QAT (Quantization Aware Training) quants for Gemma 4.

The model weight file (unsloth gemma-4-26B-A4B-it-qat-UD-Q4_K_XL.gguf) is only 13.2 GB, making it the ultimate local powerhouse.

# The Test Setup:

CPU: Intel Core i7

RAM: 16GB System RAM

GPU: NVIDIA GeForce RTX 4060 Laptop GPU (8GB VRAM)

# The Secret Sauce (The -cmoe Flag)

To make this work properly on any 8GB card, you must use the -cmoe (CPU MoE) flag in llama.cpp.

This flag isolates the heavy MoE expert weights directly to system memory (CPU/RAM) while letting your GPU focus strictly on the Attention layers and the KV Cache.

It prevents VRAM spillage and holds the throughput rock solid.

# The flags:

-m "gemma-4-26B-A4B-it-qat-UD-Q4_K_XL.gguf" -cmoe -c 248000 -v

Once running, just open the UI on localhost and toggle the new reasoning lightbulb icon in the text input box to watch the model perform multi step thinking.

Are you still running smaller models, or are you ready to scale up your budget local setups? Let's discuss in the replies

[Tecnocriollo @tecnocriollo]

@_nasch_ @renwo_app

[Nicolás Schürmann @_nasch_]

190 tokens por segundo con Qwen3.6 35B en hardware local.

A esta velocidad todo se siente instantáneo.

Los que tienen suscripción de Anthropic o de OpenAI es porque quieren.

[T13 @T13]

Codina dice que estudiante herida en marcha Confech habría recibido piedrazo de otros manifestantes: quedó apercibida por disturbios https://t.co/HFXIpnYLiC

[GAMBA @GAMBA_CL]

Se cayó el tongo de la CONFECH: Video confirma que piedrazo de encapuchados le rompió la cara a estudiante https://t.co/asUJOtdNQ6

[Tomas Mosciatti @tio_Moscha]

La ultraizquierda sigue intentando ganar en la calle lo que fue incapaz de defender en las urnas.

Cada amenaza de movilización, cada intento de desestabilización y cada llamado al caos le recuerda a Chile por qué los sacó del gobierno.

No debilitan a Kast, lo fortalecen

[Make Chile Fome Again 🇨🇱 @Gorderizador]

🔴BOMBA de #ReportajesT13: "la defensa de Joaquín Lavin Jr acusa que la fiscalía estaría usando chat y testigos editados y TIENEN LAS PRUEBAS"

Si esto es cierto uno de los querellantes de la causa que es la municipalidad de Maipú (Vodanovic) va a tener que dar muchas explicaciones, y la fiscalía también.-

ESTÁ TERRIBLEMENTE PODRIDO EL SISTEMA JUDICIAL EN CHILE

[WeGotitBack 🏴󠁧󠁢󠁥󠁮󠁧󠁿🇬🇧🇺🇸 @NotFarLeftAtAll]

❤️

[Plutonian @NecMinusUltra]

La CONFECH ahora desconoce los correos QUE ELLOS MISMOS enviaron a la delegación presidencial solicitando autorización de la marcha 🤣

[Elon Musk @elonmusk]

💯

[Johannes Kaiser @Jou_Kaiser]

Uff...

[Artemisa ⭐️ @007Artemisa]

La amé a esta señora.

[Fernando Tornello 🌎🏁 @F1Tornello]

#F1 El rey de Mónaco 🇲🇨 #AyrtonSenna Único!

Vídeo de @F1

[Giuliana_NAC 🇨🇱 @giuliana_nac]

Un solo trabajador se enfrentó a una manada de mandriles de la Confech y ganó …. Uno!!!

[Diego Rosales UHD @Diego_Rosales__]

¿Se darán cuenta del daño que se hicieron a sí mismos al estar los 4 años de Boric encerrados?

Perdieron toda la poca credibilidad que les quedaba.

[Giuliana_NAC 🇨🇱 @giuliana_nac]

Aquí es donde se pierde el “derecho constitucional “ a la manifestación.

Cuando impides el libre desplazamiento de otros , (el cual también es un derecho constitucional) la protesta se transforma en delito, por ende la sarta de palos está bien otorgada

[Benjamín Barrios du Monceau de Bergendal @benjabarriosd]

Chile necesita más debate y no paralizaciones.

Porque creemos en el diálogo y la propuesta:

NO QUEREMOS UN CHILE PARALIZADO, QUEREMOS UN CHILE QUE PROSPERE.

@SolidaridadUC 🚩🇨🇱

[Clint Joselito🇨🇱🇮🇱 @ClintJoselito]

Ciudadano trabajador común molesto por las "marchas".

[El Villegas @elvillegaschile]

Felicitaciones por el coraje que se requiere para ir en contra del rebaño vociferante y violento.

[BioBioChile @biobio]

Kaiser rechaza levantar secreto bancario: "No estoy dispuesto a que un comunista acceda a mi cuenta"
https://t.co/vbVe2bSmr1