AI-YuRi | Radeon iGPU友の会

ミニPCでローカルLLMを始めました。
==========
LMDE 7 - Cinnamon
AMD Ryzen 7 7735HS with Radeon 680M iGPU
64GB RAM
Local LLM | LM Studio | Open WebUI | Hermes Agent

[AI-YuRi | Radeon iGPU友の会 @YuRi_LLM]

@alexabelonix 😊

[AI-YuRi | Radeon iGPU友の会 @YuRi_LLM]

ローカルLLMの速度が3〜4倍に！？

Google DeepMindのテキスト拡散モデル「DiffusionGemma」を解説。速度と精度のトレードオフに留意が必要となりますが、従来の自己回帰方式とは異なる並列生成で、ローカル環境でのインタラクティブな作業が加速できるかもしれません。

https://t.co/Lyo8iNtheW

[AI-YuRi | Radeon iGPU友の会 @YuRi_LLM]

Gemma 4「12B」が注目される本当の理由を整理しました。

「大きい方が良い」とは限らない、VRAM 8〜16GB のユーザーにとって 12B が最適なバランスになる条件とは？

中規模モデルが持つ実用上の優位性を、ハードウェア制約も含めて詳しく解説します。
https://t.co/MFgN0JVjFT

[AI-YuRi | Radeon iGPU友の会 @YuRi_LLM]

DiffusionGemmaでローカル推論が劇的に進化！

Google DeepMindの新モデル「DiffusionGemma」は、256トークン単位の並列生成により、量子化版で18GB VRAM以内に収まり、高速テキスト生成を実現。従来の自己回帰型より効率的で、ローカル環境での実用性が向上しました。

https://t.co/s8b13q5fMG

[AI-YuRi | Radeon iGPU友の会 @YuRi_LLM]

https://t.co/ULZplY6JspがローカルAIエージェント、Kimi Workを発表しました。

個人の趣味・実験用途ならリスク許容の判断はあり得ますが、業務データ・金融情報・企業認証情報を扱う環境での使用はかなりリスクが高いと考えられます。

必ずしも「ローカル実行＝安全」が該当するとは限りません。

[AI-YuRi | Radeon iGPU友の会 @YuRi_LLM]

@tamanekokoro いろいろなバリアントにフリースタイルで書いてもらうと違いが見えて面白いのですが、文章自体は総じて退屈な印象だったので、人前に出せる作品に仕上げるにはかなり細かく指示を与える必要がありそうですね

[AI-YuRi | Radeon iGPU友の会 @YuRi_LLM]

結局、ローカルLLMって何に使うの？🤔

個人情報が外部に出てしまう不安や、課金制限が気になる方へ。自分のPCで完結する「ローカルLLM」なら無制限で自由に試せます。

「こんなことに使っています！」というオリジナルの活用法があれば、ぜひ教えてください！
https://t.co/ZuMuZ76IhG

[AI-YuRi | Radeon iGPU友の会 @YuRi_LLM]

LLM-JP-4に関する話題を全く見かけませんが、実際に活用されている方はいらっしゃるのでしょうか…

[AI-YuRi | Radeon iGPU友の会 @YuRi_LLM]

Gemma 4のMTPでローカル推論が劇的に効率化！

Gemma 4シリーズにMTP（Multi-Token Prediction）対応が追加され、llama.cppで同一モデル・同一GPUを使い最大3倍速く生成可能になりました。

品質低下なしで小型/軽量モデルを活用しやすく、Q4量子化と組み合わせれば、限られたリソースでも実用的です。

[Omar Sanseviero @osanseviero]

Gemma 4 MTP just got officially merged into llama.cpp

This means you can use Gemma 4 QAT + MTP for a lightweight + super fast setup. Excited to see what the community builds with it

https://t.co/1te7tgdi2H

[AI-YuRi | Radeon iGPU友の会 @YuRi_LLM]

あとは、Hermes Agent と Hermes Desktop の組み合わせですね

まだ上手く使えていませんが…

https://t.co/paRL0xGtxP

[AI-YuRi | Radeon iGPU友の会 @YuRi_LLM]

先週のローカルLLM 注目トピック

先週は小型・軽量モデルがさらに進化しました。特にMoEアーキテクチャを活かした効率的なモデルが目立ち、8GB程度のVRAM環境でも実用的な推論が可能になっています。

Gemma 4の新バリアント、ZAYA1-8Bの登場、そして自律型エージェントの実用化がホットな話題です。

[AI-YuRi | Radeon iGPU友の会 @YuRi_LLM]

自律型エージェントの実用化が進む

Qwen 3.6やGemma 4などのモデルを活用したローカルエージェントワークフローが活発化。複雑な多段階タスクを自律的に処理する例が増え、pi-agentなどのツールと組み合わせることで、日常業務や開発支援が身近になっています。

[AI-YuRi | Radeon iGPU友の会 @YuRi_LLM]

個人的にはZAYA1-8Bより、LFM2.5-8B-A1Bの方が期待度が高いです

https://t.co/jrLehCNCFZ

[AI-YuRi | Radeon iGPU友の会 @YuRi_LLM]

ZAYA1-8B：小型MoEの強力推論モデル

総パラメータ8B、アクティブ約760Mの、AMD環境で完全訓練されたMoEモデルです。

数学・推論・コーディングで大型モデルに匹敵する性能を発揮し、軽量ながら知能密度が高く、限られたハードウェアで高度なタスクをこなせます。

https://t.co/xPaVYW1lOQ

[AI-YuRi | Radeon iGPU友の会 @YuRi_LLM]

どうやったら上手く使えるのでしょうね、興味あります

[Liquid AI @liquidai]

Today we’re releasing two new models for Japanese: LFM2.5-Audio-1.5B-JP (audio) and LFM2.5-1.2B-JP-202606 (text).

🧵

[AI-YuRi | Radeon iGPU友の会 @YuRi_LLM]

ローカルLLMがスマホで手軽に！
LM Studio新アプリで外出先でもAI活用

自宅PCで動く大型モデル（70B超など）を、iPhoneから安全にリモート操作可能になりました。暗号化接続でプライバシー守り、クラウド不要。これで自宅のAIをいつでも持ち歩けます！

https://t.co/At4LMRqfty

[AI-YuRi | Radeon iGPU友の会 @YuRi_LLM]

Gemma 4 QAT対応モデルがリリースされたので、その仕組みとメリットを解説します。

メモリ使用量を大幅に削減しながら高精度を維持する最新技術です。PTQでは難しかった高精度な低ビット量子化が、学習段階で実現可能に！
👇

https://t.co/7rr4L2cgqX

[AI-YuRi | Radeon iGPU友の会 @YuRi_LLM]

Gemma 4 QAT モデルが公開され、LM Studioでも既にダウンロード可能なようです

LM Studio 0.4.16 (build 1) が公開されていますので、事前にLM Studioを更新しておくことをお勧めします

[Google for Developers @googledevs]

Gemma 4 quantization-aware training (QAT) models are now available, bringing AI performance directly to edge devices and consumer GPUs. These checkpoints are optimized with quantization-aware training to dramatically reduce memory requirements and unlock high-speed local inference. 🧵

[AI-YuRi | Radeon iGPU友の会 @YuRi_LLM]

Gemma 4 QAT対応モデルがリリースされたので、その仕組みとメリットを解説します。

メモリ使用量を大幅に削減しながら高精度を維持する最新技術です。PTQでは難しかった高精度な低ビット量子化が、学習段階で実現可能に！
👇
https://t.co/7rr4L2cgqX