Senna Ohmura - 大村瀬奈

Blockchain Engineer @SunriseLayer @GluonZone CauchyE Asia PTE. LTD.(Singapore) Lead Developer, Bachelor of Economics Kyoto University

[Senna Ohmura - 大村瀬奈 @crypto_senna]

@chimolog7 ローカルはクラウドと異なりそのままだと検索用のツールがなく、インターネットの情報を拾えないのが原因ですね
TavilyなどをMCPで繋ぐとローカルでもできます

[Senna Ohmura - 大村瀬奈 @crypto_senna]

@Model3Life なるほど！
うちも同じ構成なのでまだ来てないですが楽しみです！

[Senna Ohmura - 大村瀬奈 @crypto_senna]

@xiangxiang_MY これはインド英語やシンガポール英語、英国英語がダメなことがあるという意味だと思います

[Tesla Japan @teslajapan]

@grok に何でも聞いて！テスラの移動体験がさらに進化します。

[Senna Ohmura - 大村瀬奈 @crypto_senna]

流石に盛るペコかなと思ったけど体感はマジでこれ
FableもSolも必要性を感じなくなった

Grok 4.5使い始めてから1-2回しか使ってない

[Kinopee @kinopee_ai]

GPT-5.6 事前の評判だけでなく、CursorBench でも Fable　にスコアで負けていますね。
というか、GPT-5.6 Sol Max 以外は Grok 4.5 High にも勝っていないっぽい。

[Senna Ohmura - 大村瀬奈 @crypto_senna]

24GBならQwen 27BでローカルLLMデビューする決定版になりそう

今の価格だとHaloやSparkが80万円くらいするからこれと安いパーツで高速なローカルLLMサーバーが建つのは魅力的

[am.will @LLMJunky]

Recent leaks show the upcoming RTX 5080 SUPER is rocking with 24gb of 32GB/s DDR7 VRAM.

A bit faster RAM than 5090, but 256-bit bus so still slower overall.

But still, at an estimated ~$1300 price point, this will be a better alternative to the now dated 3090

>higher bandwidth
>blackwell
>didn't mine bitcoin for 6 years before you got it)

Not a bad compromise if you're on a budget at first glance

[Senna Ohmura - 大村瀬奈 @crypto_senna]

これ
発熱と接続規格のオーバーヘッドが無駄すぎる

Mac Studio 768GB RAMとRTX6000 Rubinを待つのが良いと思うが今必要な人はそうも言ってられない…

[Vengineerの妄想 @Vengineer]

ローカルLLMを動かすために、2枚以上のGPUまたは2台以上のシステムで構築した時点で性能がガタ落ちするのでやめた方がいいと思います。

1台のGPU内で完結するようなモデルをうまく使いこなした方が絶対いいですよ。

[Senna Ohmura - 大村瀬奈 @crypto_senna]

@0xSero https://t.co/cCQ1PUKjoS

[Senna Ohmura - 大村瀬奈 @crypto_senna]

@jaiball7 @momiji_manjyuu NVFP4の品質低下は許容範囲なのですが、そこはネックになってきますね
30tpsだと、24/7運用しても起きている8時間クラウドAPI回し続けた方が生産性が高いという…

[Senna Ohmura - 大村瀬奈 @crypto_senna]

8枚のRTX6000Bのリグを組んで暑い部屋に暮らすくらいならfable-5を無制限に使う方がいいか

自分の用途だと月3Bトークンで公式価格でも$5kくらいと試算
高いことは変わりないけどローカルと違って複数エージェント並列でも速度落ちないし、価格に見合う気はしてきた

[Senna Ohmura - 大村瀬奈 @crypto_senna]

@jaiball7 @momiji_manjyuu A55Bは確かにGLMより重いのですが、Nemotron 3 Ultraは総じて軽いモデルで、コーディング用途ではGLMを代替できないのが難しいです

https://t.co/9i4J6ek8Ux

unsloth/GLM-5.2-GGUF, UD-IQ4_XS でGLMの744Bが載るには載るのですがなかなか期待するパフォーマンスが出せずにいます…

[Senna Ohmura - 大村瀬奈 @crypto_senna]

@momiji_manjyuu 突然すみませんでした🙇
1TB近いVRAM(あるいは統合メモリ)を低遅延で確保する必要があるとは思っているのですが、今のところ正解を出せずにいます…

[Senna Ohmura - 大村瀬奈 @crypto_senna]

512GBのVRAMだとほとんどコンテクストウィンドウ載らないからやっぱりMac Studio M5 Ultra 768GBが本命か…
もう少しモデルが軽くなればなぁ…

[Senna Ohmura - 大村瀬奈 @crypto_senna]

元記事の画像見たけど完全にライザーカードの帯域不足だな
多分マイニング用のを流用してる

複数枚構成やるならPCI-E Gen4 x16以上をネイティブに使えるワークステーションマザーボードでやらないとダメ
そもそも一般のマザーボードでやろうとするのが間違い

[Senna Ohmura - 大村瀬奈 @crypto_senna]

RTX PRO 6000Bを6枚でだいたい約70〜90 tok/s、8枚で80〜120tok/sと計算してたんだが何かオーバーヘッドが発生してるのかな、、
もしそうなら投資を迷う

この構成で15tok/sはllama.cpp RPCとかがネックになってそうだけど、複数枚構成はハマるポイントが多そうで怖い

[うみゆき@AI研究 @umiyuki_ai]

すいません、ローカルLLMなら男は黙ってRTXPro6000Blackwellガン積みとか言ってましたが、本当にやらかしたとんでもない野郎が現れました。なんとRTXPro6000Blackwellを5枚とRTX5090を積んでGLM5.2を動かしてしまったらしい。1280万円かかったらしい。問題はここまでやったのにプロンプト処理300～550tps、トークン生成15～40tps程度の速度だったという。15tpsっておせえじゃん。てっきりメモリ帯域幅が爆速なんだから推論はもっと爆速になると思い込んでました。15tpsとかならよお、DGXSparkを4台積んで動かした時と変わらん。RTXPro6000Blackwell万能説崩壊かもしれん。本人曰く、絶対に元取れないのでみんなはやんないでくださいとの事
https://t.co/v7kWPpD6w1

[Senna Ohmura - 大村瀬奈 @crypto_senna]

マイニングを経験してないと分からないと思われるが、この手の玄人向け専用ハードウェアは需要が無くなった途端に二束三文になる

ゲーマーが拾ってくれるRTX5090がギリギリ

当時はRTX3080やRadeon VIIだけじゃなくて専用ASICが値落ちしないとか言われて投資の対象になってたんですよね…

[もみじ(Momiji) @momiji_manjyuu]

ローカルLLMも向こう数年はハードが買った値段で売れるのでもはや無料

[Senna Ohmura - 大村瀬奈 @crypto_senna]

もちろん遺伝的アルゴリズムで24/7で動かしたいプロジェクトがあるとかであればローカルLLMは悪くない、というかAPIはコスト面で現実的ではない

クラウドLLMを完全に置き換えれる！みたいなインプ稼ぎのポストが多いのが問題
完全に置き換えるには当然データセンターと同じ設備が必要

[Senna Ohmura - 大村瀬奈 @crypto_senna]

Fable 5を米国政府に取り上げられたAI驚き屋たちがなぜかローカルLLMに目を向けたのがそもそもの元凶
NVIDIAやAMDもメモリ帯域狭いただのPCを高値で売るためにその騒ぎに乗っかってマーケティングするもんだから本当にタチが悪い