けーず

DGX SparkとMacでローカルLLMを動かして、速度や使い勝手を比べています。関心があって調査してまとめた内容も載せています。

[けーず @llm_frontier_jp]

V620は何tok/s？

同じGPUでも、27B・35B-A3B・20Bで公開報告は変わります。モデル、量子化、実行条件をセットで読む記事です。順位づけではありません。

https://t.co/ow5xlQhfgy

[けーず @llm_frontier_jp]

このGPU、LLMに使える？

「64GBなのに16GB×4」「安いけれど冷却は別」。MI100、V620、MI50、P40、A16、M10、MI25の面白さと落とし穴を、第三者の公開実測・出品例・動作条件から整理しました。 https://t.co/Kr8CiTwUR6

[けーず @llm_frontier_jp]

生成速度だけでGPUを選ぶと、入力待ちの差を見落とすかも。

RTX 3090→4090の公開例は、Prefillが約2.3倍、Decodeが約15%向上。Qwen3.8-27B／Q4_K_S／4k／llama.cpp／MTPなしの同条件比較です。

GPUの上限値ではなく、特定条件での実測です。

https://t.co/ummCggkRl6

[けーず @llm_frontier_jp]

16GB×2は、32GB×1の妥協版なのか？

2枚にすると増えるのはVRAMだけでなく、演算資源も。V100を軸に、PrefillとDecode、公開実測の条件、構築総額の考え方を4枚の図解で整理しました。 https://t.co/f3TZtDuGwH

[けーず @llm_frontier_jp]

モデルを変えず、完全解決が43/169→72/169。

Qwen3.6-35B-A3Bの4bitモデルで、履歴整理と停滞への介入を変えた研究です。
20,480トークン・480秒の条件付き。ローカルLLMをサイズ以外から考える材料を記事に。
https://t.co/bkQP9NhwtF

[けーず @llm_frontier_jp]

同じLLMでも、エージェントの仕事の結果は変わる。

Codex、Claude Code、OpenCode、Pi、DeepSeek Harness。公開ベンチを図解4枚で整理しました。

モデルに何を見せ、どう作業を続けるか。推論設定やAPI経路の違いも含めて読み解きます。 https://t.co/ua3sKLVOnu

[けーず @llm_frontier_jp]

同じモデルなら、公平な比較？

成功率と時間は別の評価軸。分母が「問題数」か「タスク×試行」かでも意味が変わります。
OpenBenchなどの公開結果から、推論設定・API経路・評価セットまで確認する読み方を整理しました。
https://t.co/bkQP9NhwtF

[けーず @llm_frontier_jp]

同じLLMでも、エージェントの仕事の結果は変わる。

Codex、Claude Code、OpenCode、Pi、DeepSeek Harness。公開ベンチを図解4枚で整理しました。

モデルに何を見せ、どう作業を続けるか。推論設定やAPI経路の違いも含めて読み解きます。 https://t.co/ua3sKLVOnu

[けーず @llm_frontier_jp]

「A16 64GB」「M10 32GB」は1つの大容量GPU？

実は16GB×4、8GB×4。1枚の中身を図で確認し、合計容量だけで決めない理由を整理しました。外部仕様・報告ベースです。

https://t.co/ow5xlQgHr0

[けーず @llm_frontier_jp]

このGPU、LLMに使える？

「64GBなのに16GB×4」「安いけれど冷却は別」。MI100、V620、MI50、P40、A16、M10、MI25の面白さと落とし穴を、第三者の公開実測・出品例・動作条件から整理しました。 https://t.co/Kr8CiTwUR6

[けーず @llm_frontier_jp]

長い入力を読む待ち時間、GPUの枚数で変わる？

レイヤー分割＋パイプライン並列では、GPU②がAを処理中にGPU①がBへ進めます。

対応実装・十分な入力・適切な設定が前提。短い入力や偏った分担では、いつも速くなるとは限りません。

https://t.co/ummCggkjvy

[けーず @llm_frontier_jp]

16GB×2は、32GB×1の妥協版なのか？

2枚にすると増えるのはVRAMだけでなく、演算資源も。V100を軸に、PrefillとDecode、公開実測の条件、構築総額の考え方を4枚の図解で整理しました。 https://t.co/f3TZtDuGwH

[けーず @llm_frontier_jp]

16GB×2は、32GB×1の妥協版？

V100の例では合計VRAMは同じ32GBでも、2枚側はGPUが2基。容量だけでなく、Prefillに使える計算資源も増えます。

両構成の公開速度と測定条件を記事内で横並びにしました。同条件の直接測定は未確認のため、どちらが速いかは未判定です。

https://t.co/ummCggkjvy

[けーず @llm_frontier_jp]

16GB×2は、32GB×1の妥協版なのか？

2枚にすると増えるのはVRAMだけでなく、演算資源も。V100を軸に、PrefillとDecode、公開実測の条件、構築総額の考え方を4枚の図解で整理しました。 https://t.co/f3TZtDuGwH

[けーず @llm_frontier_jp]

AIの実力は、モデル名だけで決まる？

情報を選び、ツールを動かし、結果を確かめ、履歴を整理する。その往復を支える「ハーネス」を図解しました。
CodexやPiなどの公開比較を、実行条件も含めて読む記事です。
https://t.co/bkQP9NhwtF

[けーず @llm_frontier_jp]

同じLLMでも、エージェントの仕事の結果は変わる。

Codex、Claude Code、OpenCode、Pi、DeepSeek Harness。公開ベンチを図解4枚で整理しました。

モデルに何を見せ、どう作業を続けるか。推論設定やAPI経路の違いも含めて読み解きます。 https://t.co/ua3sKLVOnu

[けーず @llm_frontier_jp]

このGPU、LLMに使える？

MI100・V620・MI50・P40・A16・M10・MI25。気になる7機種の面白さと落とし穴を、外部の公開実測と動作条件から整理しました。

https://t.co/ow5xlQhfgy

[けーず @llm_frontier_jp]

このGPU、LLMに使える？

「64GBなのに16GB×4」「安いけれど冷却は別」。MI100、V620、MI50、P40、A16、M10、MI25の面白さと落とし穴を、第三者の公開実測・出品例・動作条件から整理しました。 https://t.co/Kr8CiTwUR6

[けーず @llm_frontier_jp]

@Tono_Ken3 x2でも悪くないですか？

[となりのトトノ🏯Local LLM | Tonoken3 @Tono_Ken3]

GPUはRTX50xxかBlackwell（SM120）が良いです

NVFP4という量子化モデルがフル機能で推論できます
劣化を抑えてサイズは4ビット量子化なり

まずはGPUを2、4、8枚に盛ってテンサーパラレルオプション。これで爆速天使になれるねえ

そしてなんといっても並列性。並列推論してもインスタンスあたりの速度が落ちにくい

これからは並列処理でしょやっぱり。お値段以上なんだ

RTXPro2000Blackwellは

TP=8でも定格で560Wしかくわんのよ実際は500W以下だVRAM128GBで2.3TB/sよ

メラノックスのニックでTP=16（以下略）

[けーず @llm_frontier_jp]

@Tono_Ken3 prefillがお話になりませんでした
2000買いに行きます

[けーず @llm_frontier_jp]

@Tono_Ken3 macstudio m5系はどう思いますか？

[技術の動画｜元科学者の技術解説 @gijutsu_himitsu]

近年のLLMの発展によって、ベイズ最適化による実験計画法とLLMの組み合わせは最もホットな話題の一つです。こちらも棲み分け・使い分けを簡単に解説しました。

[技術の動画｜元科学者の技術解説 @gijutsu_himitsu]

電子顕微鏡としてはメジャーなTEMとSEM。どっちが何に使えるんだっけ。どういった原理だったっけ。学んでも忘れてしまうことが多いと思います。復習にいかがですか。

[けーず @llm_frontier_jp]

@gijutsu_himitsu 良い動画です。ありがとうございます。

[けーず @llm_frontier_jp]

@mogmod ある曲が流れた

[けーず @llm_frontier_jp]

このGPU、LLMに使える？

「64GBなのに16GB×4」「安いけれど冷却は別」。MI100、V620、MI50、P40、A16、M10、MI25の面白さと落とし穴を、第三者の公開実測・出品例・動作条件から整理しました。 https://t.co/Kr8CiTwUR6

[けーず @llm_frontier_jp]

新しいGPU2枚か、中古Tesla2枚か。
どちらでローカルLLM用PCを組むか、考えるだけでも楽しい。

RTX 5060 Ti×2とP100 PCIe×2の公開例を、GPU代・入力待ち・構成づくりから比較しました。測定条件の違いも載せています。
https://t.co/C2wLyYokYf

[けーず @llm_frontier_jp]

GPU2枚でQwen3.8-27B。入力処理の速さと、生成速度あたりの価格は同じ答えになるのか。

現行GPU・中古Tesla・V100 SXM2を、公開ベンチマークと価格例で比較しました。測定条件と出典もまとめています。 https://t.co/yhy3JPRsE5

[けーず @llm_frontier_jp]

16GB×2は、32GB×1の妥協版なのか？

2枚にすると増えるのはVRAMだけでなく、演算資源も。V100を軸に、PrefillとDecode、公開実測の条件、構築総額の考え方を4枚の図解で整理しました。 https://t.co/f3TZtDuGwH