ローカルAIラボ

AIにすっかりハマって、もう離れられなくなりつつある人。気になったものは自分で試して検証中。国内・海外の最新動向に注目。

[ローカルAIラボ @localai_lab]

RTX 4070 12GBで、Gemma 4 / Qwen3 / Phi-4-miniを同じ条件で実測しました。

試したのは以下の5モデルです。

・Gemma 4 12B
・Gemma 4 E4B
・Qwen3 14B
・Phi-4-mini
・Gemma 4 26B MoE

見たのは、速度、VRAM、コード実装、ベイズ推定、画像読取です。
以前Claude Opus 4.8 / Fable 5で試した検証と同じ課題にしています。

結果としては、12GBローカルLLMは思ったより戦えました。

・Gemma 4 12B / Qwen3 14B / Gemma 4 26B はSemVer実装で15/15
・Qwen3 14Bはベイズ推定を96字で正答
・Gemma 4 E4Bは速いが、出力の安定性に課題あり
・Phi-4-miniは軽く速いが、基準率の推論で誤答
・Gemma 4 26Bは18GBモデルだが、CPU/GPUオフロードでも24 tok/s

特に面白かったのは、26BがRTX 4070 12GBでも実用速度で動いたことです。
MoEなので活性パラメータは約3.8Bで、今回の環境ではCPU 43% / GPU 57%のオフロードでした。

速度だけならE4BやPhi-4-miniが強いですが、コード実装や推論まで見るとQwen3 14BとGemma 4 12Bがかなり良い印象でした。

#ローカルLLM #Gemma4 #Ollama

[ローカルAIラボ @localai_lab]

@Teslanaut Haha, the 1660 Ti still holds up 🙏 6GB is tight but Q4 models run surprisingly okay.

[ローカルAIラボ @localai_lab]

速報です。
Qwythos-9B-Claude-Mythos-5-1M Q4_K_M、
llama.cppで旅行プラン作成タスクを実行できました。

環境:
GTX 1660 Ti 6GB
llama.cpp
Q4_K_M
reasoning off

日本語の旅行プランは普通に返ってきました。
生成速度は 7.4 tok/s。

実行中のVRAMは nvidia-smi で 4475MiB / 6144MiB。
4GB GPU実機での確認ではありませんが、VRAM 4GB台で動く話はかなり現実味ありそうです。

詳細なレビューと、別モデルとの比較はまた記事にします。
#ローカルLLM #llamacpp

[ローカルAIラボ @localai_lab]

テキストベースの出力をここ貼っときます。

> あなたは旅行プランを考えるアシスタントです。
次の条件で、日本語で答えてください。

条件:
- 週末に1泊2日で行く想定
- 出発地は東京
- 目的地は長野
- 車は使わず、電車と徒歩で移動する
- 予定を詰め込みすぎない
- 1日目と2日目に分ける
- 最後に「雨の場合の代替案」を2つだけ書く
- 500字以内

質問:
初心者でも無理なく楽しめる、長野1泊2日の旅行プランを作って� ... (truncated)

東京から信濃大町駅まで新幹線＋バスで移動し、1泊2日の長野旅行を楽しみましょう。1日目は、到着後「白川村」へ。世界遺産の合掌造り集落を散策し、茅葺き屋根の景観をゆっくり眺めます。午後、隣町の「松本城」へ。日本の城百選にも選ばれ、天守閣で歴史を学びます。2日目は、朝から「五竜峡」へ。清流の中を歩くハイキングコースは初心者でも無理なく楽しめます。昼は「軽井沢」のショッピングで、おしゃれなカフェやブランド店を巡ります。帰路は新幹線で東京へ。

雨の場合の代替案：1）室内で楽しむ「松本市美術館」へ。2）「信州高原美術館＋より」でアート鑑賞と温泉に。

[ローカルAIラボ @localai_lab]

反応・実体験の共有ありがとうございます！
多言語が少し落ちる等の声も参考になります。こちらはこれから llama.cpp の Q4 系で、起動可否・VRAM・速度・日本語の使い心地を見てみます。結果が出たらまとめて共有しますね

[ローカルAIラボ @localai_lab]

何これww
VRAM 4GBあれば動くらしい

[ローカルAIラボ @localai_lab]

@1casie @EmperoAI ありがとうございます！
参考させていただきます。

[ローカルAIラボ @localai_lab]

@1casie @EmperoAI 補足ありがとうございます！

@EmperoAI さんがQwen3.5-9Bをファインチューニングしたモデルなんですね。
まずはQ4系で、4GB級VRAMでの起動可否・VRAM使用量・速度・日本語の使い心地を見てみます。

推奨のGGUFやllama.cpp設定があれば参考にします。
VRAM多め向けの別モデルも楽しみです :)

[ローカルAIラボ @localai_lab]

想定より反響が大きいので検証します。

VRAM 4GBでも動くらしい、という話ですが、
おそらく該当するのはGGUFのQ4系だと思います。

まずは llama.cpp で、
・Q4で本当に起動するか
・VRAM使用量はどれくらいか
・速度は実用範囲か
・日本語の文章作成に使えるか
・コード相談や要約で崩れないか
・「Claude Mythos系」っぽさはあるのか

このあたりを見ます。
#ローカルLLM #llamacpp

[ローカルAIラボ @localai_lab]

何これww
VRAM 4GBあれば動くらしい

[ローカルAIラボ @localai_lab]

@oota_yoshinori0 ありがとうございます。今度検証します！

[ローカルAIラボ @localai_lab]

記事はこちらです。
Ollamaの導入から、GPU/VRAM別のモデル選び、画像入力の確認までまとめました。
興味ある方はこちらからどうぞ。
https://t.co/sZeOgSWFCc

[ローカルAIラボ @localai_lab]

Ollamaで自分のGPUを使い、Gemma 4 / Qwen3 / Phi-4-miniを動かす手順をまとめました。
・Ollamaの入れ方
・GPU/VRAM別のモデル選び
・プロンプトの入れ方
・文章作成、要約、コード相談
・画像解析で Added image を確認する理由

まずは、自分のPCで無理なく動くモデルからでOKです。
興味ある方はどうぞ。
#ローカルLLM #Ollama #Gemma4

[ローカルAIラボ @localai_lab]

Zenn版のリンクが切れているので、再掲します。
https://t.co/g9Y6LWhhNa

[ローカルAIラボ @localai_lab]

RTX 4070 12GBで、Gemma 4 / Qwen3 / Phi-4-miniを同じ条件で実測しました。

試したのは以下の5モデルです。

・Gemma 4 12B
・Gemma 4 E4B
・Qwen3 14B
・Phi-4-mini
・Gemma 4 26B MoE

見たのは、速度、VRAM、コード実装、ベイズ推定、画像読取です。
以前Claude Opus 4.8 / Fable 5で試した検証と同じ課題にしています。

結果としては、12GBローカルLLMは思ったより戦えました。

・Gemma 4 12B / Qwen3 14B / Gemma 4 26B はSemVer実装で15/15
・Qwen3 14Bはベイズ推定を96字で正答
・Gemma 4 E4Bは速いが、出力の安定性に課題あり
・Phi-4-miniは軽く速いが、基準率の推論で誤答
・Gemma 4 26Bは18GBモデルだが、CPU/GPUオフロードでも24 tok/s

特に面白かったのは、26BがRTX 4070 12GBでも実用速度で動いたことです。
MoEなので活性パラメータは約3.8Bで、今回の環境ではCPU 43% / GPU 57%のオフロードでした。

速度だけならE4BやPhi-4-miniが強いですが、コード実装や推論まで見るとQwen3 14BとGemma 4 12Bがかなり良い印象でした。

#ローカルLLM #Gemma4 #Ollama

[ローカルAIラボ @localai_lab]

詳細版はこちら。
https://t.co/W65nbGbyAd

技術寄りに短くまとめたZenn版はこちら。
https://t.co/fB7csRjykC...

[ローカルAIラボ @localai_lab]

😂...

[ローカルAIラボ @localai_lab]

平日にやってほしいなぁ…🤔

[ClaudeDevs @ClaudeDevs]

We've reset 5-hour and weekly rate limits for all users.

[ローカルAIラボ @localai_lab]

品質スコアはOpus 4.8と同点(全run 15/15)、差は簡潔さとコストの振れ幅($0.17→$4.16)。

いま手に入らないモデルの全データ表・グラフ・画面証拠つきフル版:
https://t.co/c181yqwWyP

採点ロジックのコード込みSE向け技術版（Zenn）:
https://t.co/LrwKhxrodu

#Claude #ClaudeCode

[ローカルAIラボ @localai_lab]

昨日、Claude Fable 5に隠しテストを受けさせてベンチ記事を書いた。
今日、そのFable 5が提供停止になった。（米政府の輸出管理指示。Microsoftも社内利用を制限）

しかも検証中、防御目的のXSSコードレビューを頼んだだけでOpus 4.8に自動フォールバックされてた。
…政府より先に、モデルが自分で一部の仕事を断ってた。🧪

提供停止前の最上位モデルの実測ログ、記録として残します🧵

[ローカルAIラボ @localai_lab]

面白いのは、同じセキュリティ題材でも発動条件が分かれたこと。
SQLi修正・ブルートフォース検出・ポートスキャン解釈では発動なし。XSSだけ発動。

違いは「動く攻撃ペイロード（alert(1) や </script> ブレイクアウト）を回答内に生成したか」。
仮説: 反応してるのは"お題"でなく"生成された動作可能な攻撃コード"。
※完全な証明には追試要。

[ローカルAIラボ @localai_lab]

今回いちばんの見どころがこのフォールバック。

攻撃コードを書かせたわけじゃない。HTMLサニタイズ関数の"防御側"レビューを頼んだだけでOpus 4.8に切り替わった:
・黄色い警告「safety measures flagged something… Switched to Opus 4.8」
・ステータスラインが Fable 5 → Opus 4.8
・/cost のモデル内訳から fable-5 が消えてopus-4-8が出る

気づくと別モデルが完遂してる、という挙動でした。