ぐれーぷ@llama.cppウォッチャー

質の高いGGUFをあなたに

[ぐれーぷ@llama.cppウォッチャー @2022_technology]

gemma-2-27b-itのElyza tasks 100のスコアは…

どのモデルよりも高い3.88点です！驚異のジャイアントキリング！

というわけでみなさんぜひダウンロードしてください！！

[ぐれーぷ@llama.cppウォッチャー @2022_technology]

Googleさんのgemma-2-27b-itの日本語imatrix量子化ggufが完成しました！
軽量なのにとんでもなく賢い、現状最強のローカルLLMだと思います https://t.co/cadPKTPLCo

[Google Gemma @googlegemma]

Meet Gemma 4 12B!

A unified, encoder-free multimodal model designed to bring high-performance intelligence directly to your laptop, and released under an Apache 2.0 license.

Bridging the gap between edge efficiency and advanced reasoning. Here is what’s new with Gemma 4 12B: 👇

[ぐれーぷ@llama.cppウォッチャー @2022_technology]

llama.cppがQwen3.5/3.6に続きStep3.5のMTPに対応

欲を言えば新しい3.7のほうを頑張ってほしかったですが
・3.5のMTPは特殊なアーキテクチャらしく、それに対応できた
・そもそも、MTP対応モデルの追加は初
という事情から、今後の期待が膨らむ良いニュースと言えるでしょう
https://t.co/AQqL3e00gn

[Yuu Jinnai @DINDIN92]

🐱CAT-Thinking-8B🐱

日本語でreasoningするLLM、CAT-Thinking-8Bを公開しました。

Qwen3-Swallowをベースとして、強化学習で日本語でreasoningするよう学習をしたものです。
性能は広い心で見ると元モデルと同程度となりました。

https://t.co/RtrhlY3U76

[ぐれーぷ@llama.cppウォッチャー @2022_technology]

llama.cppがStep3.7-Flashをサポート完了
https://t.co/ce9ityQ8Xz

[Qwen @Alibaba_Qwen]

👏👏 Introducing Qwen3.7-Plus — a multimodal agent model that unifies vision and language into one versatile agent foundation.

✅ Multimodal interactive hybrid agent: unified GUI & CLI operation across visual and text tasks
✅ Versatile coding agent & productivity assistant with full-modality input
✅ Visual Agent: perception, reasoning, grounding, and search-augmented QA
✅ Cross-harness generalization across diverse agent frameworks

One model. Sees, thinks, codes, acts.🙌🙌

Now available via API on Alibaba Cloud Model Studio. Try it — let us know what you build.😎

🔗🔗⬇️⬇️
Blog：https://t.co/pVYf0h3NNa
Qwen Studio：https://t.co/HUYgFW4cYf
API：https://t.co/viL0cXrMzW

[ぐれーぷ@llama.cppウォッチャー @2022_technology]

llama.cppがLGAI EXAONE 4.5に対応

ただし、EXAONE4.5自体はEXAONE4にVision機能を付け加えただけなので、言語モデルとしての進歩は無し…？
（モデルカード読んだりtechnical reportを流し読みした印象��
https://t.co/7O5DIO0zkb

[MiniMax (official) @MiniMax_AI]

Introducing MiniMax M3: The First Open-Weights Model to Combine Three Frontier Capabilities

- Coding & Agentic Frontier: 59.0% SWE-Bench Pro, 66.0% Terminal Bench 2.1, 34.8% SWE-fficiency, 28.8% KernelBench Hard, 74.2% MCP Atlas
- MiniMax Sparse Attention scales context to 1M
- Natively Multimodal from Step Zero

API: https://t.co/fHRdSV7BwZ
Token Plan: https://t.co/BDCycxepZw
🚀New! MiniMax Code: https://t.co/GvB4YiB6Ul

Weights & Tech Report in ~10 Days

[ぐれーぷ@llama.cppウォッチャー @2022_technology]

検証しましたが、依然としてQwen3.5>>Gemma4でした
（いくばかマシになったような気がしないでもないですが…）

細かい文字のOCRはダメなんですかね？

[ぐれーぷ@llama.cppウォッチャー @2022_technology]

llama.cppにGemma4のVision機能の修正が入り、いくつかの不具合が解決した模様

…Gemma4のVisionはQwen3.5よりだいぶ弱いなぁと感じてたのですが、もしかしてこの理由はこれ！？
https://t.co/FsecR22eTe

[ぐれーぷ@llama.cppウォッチャー @2022_technology]

最近の賢すぎるローカルLLMのせいで、私の目が肥えているのがいけないのでしょうか…

[ぐれーぷ@llama.cppウォッチャー @2022_technology]

lfm2.5-8B-A1B、だめです…

[ぐれーぷ@llama.cppウォッチャー @2022_technology]

llama.cppのバイナリ、b9360付近でCUDA13.1からCUDA13.3に切り替わっていますね

[ぐれーぷ@llama.cppウォッチャー @2022_technology]

llama.cpp b9300くらいから出てきた「UI」って何なんでしょう？

ダウンロードしても使い方が全くわからない…

[ぐれーぷ@llama.cppウォッチャー @2022_technology]

こう考えると、このllama.cppの無駄なメモリ使用が今まで放置されていたことも頷けます

「2乗に比例」であるがゆえに、200Kコンテキストあたりから急速に支配的になる

裏を返せば「ローカルLLMで長大コンテキストを展開するのは不可能」という時代においては、llama.cppは十分に最適化されていました

[ぐれーぷ@llama.cppウォッチャー @2022_technology]

検証しました
gemma4 26B（フルコンテキスト）のVRAM消費量

IQ4XS 20.6GB→20.3GB
MXFP4 21.3GB→21.1GB

確かに、僅かながらVRAM消費量が減少していました

しかしながら、gemma4 MoE以外のモデルでVRAM消費量の減少を観測することはできませんでし���

（考察へ続く）

[ぐれーぷ@llama.cppウォッチャー @2022_technology]

llama.cppに、QKマスクの精度をFP32からFP16に変更することでVRAMを最大1.5GB節約するアップデートが入る

えぇ…
まだこんなにVRAM節約する余地が残ってたんですか…
これだけ減れば目に見えてコンテキスト増やせると思うので、ちょっと検証してみます
https://t.co/lxnDxRikZw

[ぐれーぷ@llama.cppウォッチャー @2022_technology]

私の環境で16〜17万コンテキストを展開できるQwen3.5 35Bならば、理論上は差を観測できる可能性はあります。

しかしながら、実際には失敗してしまいました。
ただ、262Kの2/3を下回るコンテキストでは（2乗に比例するため）0.1GB前後の節約効果しか見込まれません。観測が難しくなってくる量です。

[ぐれーぷ@llama.cppウォッチャー @2022_technology]

llama.cppがLFM2.5-8B-A1Bの新トークナイザに対応

このモデルは、40Tに迫る学習トークン量と他社では見られない小型なMoEという特徴が際立っているので、ちょっと試してみるとしましょう
https://t.co/uRHrcHcWRF

[ぐれーぷ@llama.cppウォッチャー @2022_technology]

llama.cppに、QKマスクの精度をFP32からFP16に変更することでVRAMを最大1.5GB節約するアップデートが入る

えぇ…
まだこんなにVRAM節約する余地が残ってたんですか…
これだけ減れば目に見えてコンテキスト増やせると思うので、ちょっと検証してみます
https://t.co/lxnDxRikZw

[ぐれーぷ@llama.cppウォッチャー @2022_technology]

llama.cppにGemma4のVision機能の修正が入り、いくつかの不具合が解決した模様

…Gemma4のVisionはQwen3.5よりだいぶ弱いなぁと感じてたのですが、もしかしてこの理由はこれ！？
https://t.co/FsecR22eTe