Ботаник по профессии, мужик с трамбователем в душе.
Сумел построить дом в Германии не привлекая внимания санитаров.
20 лет ML & AI, топ-0.1% на chess com
Выходит, что новая Gemma 12B почти как Gemma 26B по качеству, при этом требует намного меньше VRAM / Unified Memory.
Правда 26B скорее всего заметно шустрее. Вопрос насколько.
@stableAPY I've just downloaded it and ran some benchmarks.
Unsloth Q6 is too large for 12GB smh, I get OOM if I start with context larger 16k.
Q5 should be fine.
Выходит, что новая Gemma 12B почти как Gemma 26B по качеству, при этом требует намного меньше VRAM / Unified Memory.
Правда 26B скорее всего заметно шустрее. Вопрос насколько.
Gemma 4 12B can now run locally on just 8GB RAM via Dynamic GGUFs.
Google's new model, Gemma 4 12B Unified supports image, audio and 256K context.
You can run and train the model via Unsloth Studio.
GGUF: https://t.co/8cL321pVDh
Guide: https://t.co/odRo9WjRpA
The next evolution of Hermes Agent is here!
Introducing Hermes Desktop: everything you love about Hermes, now native on your machine.
First demoed in Jensen's GTC keynote, it's now in public preview.