ふみのり｜ AIと同化して生きたい

毎日のAI駆動開発やローカルLLM活用で得た知見を共有していきます！AI駆動開発で一人プロダクト開発。Webシステム設計13年、2025年6月からAI駆動開発に没頭。小さい子3人子育て中。DGX spark4台を駆使しAIと同化して生きる。

[ふみのり｜ AIと同化して生きたい @fuminori_rakuda]

ローカルLLMポッドキャストのシーズン2第3回作りました！ベンチの点数だけで、モデルの実力を判断できるの？。
今回はその「点数」の正しい読み方を、モデルとハーネスの関係から調べて、音声と図解記事にしました。学びながら楽しめるように、師匠と弟子といった役割で会話になっています。
よかったら聞いてみてください^_^

https://t.co/l1qtA3qvxB
音声はRSS「ローカルLLM、最近どう？」から（4分2秒）

[ふみのり｜ AIと同化して生きたい @fuminori_rakuda]

ゲーム機のPS5をローカルLLM推論機として使った場合の実力を知りたくて、個人環境のローカルLLM監視＆作業振分けツールに、PS5も表示対象に追加する改修タスクを与えて試してみました。結果を共有させていただきます。
個人的な結論としては、まだ9Bだと結構動作はしますが、コーディング用途だと厳しいですね。
公開ベンチだと、それぞれの9Bのスコアがopus4.0くらいのスコア出てたんですけど、やっぱ試してみると厳しかったです。。

ちなみに図の上４つがPS5で、下3つは参考用です。

[ふみのり｜ AIと同化して生きたい @fuminori_rakuda]

脱獄PS5でなんとかローカルLLMを実用的に使えないかなぁと思って色々試したけど、今の所、PS5はメモリ的に9Bまでが限界かな。。。

Qwen3.8 27B（Unsroth Dynamic V3.1 GGUF UD-Q2_K_XL9.95 GB）じゃ動くけどメモリ不足で実用的な作業はできない。ornith1.5 9B Q4やOxCoder 9B Q4なんかだと、動いて作業はできるし、ベンチ的にはopus4.0くらいはあるはずで期待したけど、やっぱりまだ賢さで自分の求める実用レベルは厳しいみたい。。。
PS5どうするかな。。。

[ふみのり｜ AIと同化して生きたい @fuminori_rakuda]

dgx sparkの世界はどんどんすごいのが出てくる。1万prefillとか。。。
帯域で限界があるはずなのに、どんどん進化してる。。。

[Mia @MiaAI_lab]

This is the best DeepSeek V4.1 Flash 1017 recipe you can run on 4 DGX Sparks. I know bcs I've personally tested it.

I can get to the same performance on TensorFold but it needs a lot of work and I see no point. Just use this one.

I will also be contributing to this repo!

Just get it:
https://t.co/uqBE5REVSI

[ふみのり｜ AIと同化して生きたい @fuminori_rakuda]

@Hikari_07_jp @Messa_Audio GB300(最安198000円)が単位になっているので分かりやすい^_^

[ふみのり｜ AIと同化して生きたい @fuminori_rakuda]

@ksuniri ベストがopenbotかわかりませんが、今はOpenMausBot　とかも評判いいですね。私はもうopenbotをだいぶ育てたのでこれでいきますが。。

[ふみのり｜ AIと同化して生きたい @fuminori_rakuda]

ここ二週間くらい併用してたんですが、かなり近いところまでできている感じですね。ローカルLLMがprefillが早くて、賢ければ多分代用できるかなと思います。TP4のDS v4.1fと他にもう1台と、あとはクラウド少し（私はchatgptのplus）あれば（TP4が止まったときに活躍）なんとかなると思います。あとは推論機の負荷を見てに振り分ける仕組みがあればいいかと。私の場合はこれをもとにopenbotがタスク振り分けしてくれます。

[ふみのり｜ AIと同化して生きたい @fuminori_rakuda]

Grok botを2日後に解約しようと思ってたけど、このサービスがなんか自分にとって具体的にどんなメリットがあるかわからなかったので、chatgptに聞いてみたけどやっぱ不要だった。。。Grokbotやめて、Openbot（メインLLMはTP4構成のDS v4.1F）のみで行けるかやってみるか。。。

[Grok Bot @bot]

Grok Bot can now join your personal or company tailnets on Tailscale.

Use it to securely reach private MCP servers, internal tools, and apps on your network.

[ふみのり｜ AIと同化して生きたい @fuminori_rakuda]

@zsai010 なるほど、正直な感想ありがとう！

[ふみのり｜ AIと同化して生きたい @fuminori_rakuda]

今更だけど、qwen 3.8flashってかなり実用的な賢さあるってことに気づいた。
glm 5.3flashやdeepseekv4.1flashの中に混ぜて仕事させても十分使える。
今までm2ultra128GB用にstrataで量子化落としたモデルでしか使ったことなかったせいで、モデルが弱いと思って勘違いしてました。。。。
量子化はQ4未満は使っちゃダメだな、イマイチなのをモデルの実力といつも勘違いしてしまう。

[ふみのり｜ AIと同化して生きたい @fuminori_rakuda]

zcodeは使ったことがないのですが、何が良いのか教えて。今まではDSH、pi、codex、openchamberなどをよく使っていました。最近はopenbotをメインにマクロの作業、ミクロ的な細かい深いプロジェクトはDSHやpiになっています。そこの環境にZCODEはどんなメリットがありますか？興味はありますが、これ以上、環境構築に時間かけたくないところもあります。

[ふみのり｜ AIと同化して生きたい @fuminori_rakuda]

そうですね。strataとかで量子化をq3以下で動くってのを見てあたかも普通に使えるような投稿に感じてしまうんですが、使ってみると、やっぱq4以上のモデルとは、なんというか、ちゃんとしてない動きなんですよね。今だに。なので量子化が低くて賢くないのを、それがモデルの実力として勘違いしてしまうんですよね。

[ふみのり｜ AIと同化して生きたい @fuminori_rakuda]

@WebBuildingFrog @s_torian_ @reservoir やっぱり世界中で急に上がってるね。ベトナムで手に入るといいね^_^

[ふみのり｜ AIと同化して生きたい @fuminori_rakuda]

@WebBuildingFrog @s_torian_ @reservoir https://t.co/iOSVqJWXAX
まだ売ってるんじゃないの？日本と同じくらいの価格だよ。

[ふみのり｜ AIと同化して生きたい @fuminori_rakuda]

@BUTA_no_rakuen 大丈夫、分かってます^_^
大人ほど童心ってのも確かにありますね！

[ふみのり｜ AIと同化して生きたい @fuminori_rakuda]

Fable 5.2がすごいっていう情報が溢れているけど、個人的には一年後には、これ以上の性能がローカルで使い放題になっている未来を想像するのが楽しい。
リモート作業の約5割をfable5.2でできるのであれば、一年後のローカルLLMだと何割くらいできているんだろうと思う。ましてや２年後とかの世界も想像してしまう。

[ふみのり｜ AIと同化して生きたい @fuminori_rakuda]

@BUTA_no_rakuen そうですね、AIがやれる事が増える事で悲観的になる人もいるのは分かりますが、こうやって進歩を楽しみ続ける側にできればいたいです。。。