CopenDeCamp

Copenでキャンプするのが好きなITエンジニア

[CopenDeCamp @CopenDeCamp]

ローカルLLM開発にドハマリして
この半年でこんなことになってしもうた😅

#PC暗黒面の導き #XFX #ASRock

[CopenDeCamp @CopenDeCamp]

AI使ってもバグハントに6時間もかかってしまった
推論基盤はほんまムズいな...
ちょっとアーキテクチャ変えると壊れやがる

#個人開発

[CopenDeCamp @CopenDeCamp]

@voidwarriorchan なんかDCがやってた建設合戦を個人レベルでもやってるのマジで草枯れる
メモリが安くなるのは2032年とかなんじゃね？笑

[CopenDeCamp @CopenDeCamp]

@murasametech やはり、Taichi Creatorは見た目が「職人の道具」感強くていいな
デザインでは相当上位だわ

[CopenDeCamp @CopenDeCamp]

@Dt2Killer @murasametech https://t.co/YN490CoAF3

こういうの買えば、サーバー向けCPUでなくても
この拡張カードの下にぶらさがっているものだけレーン数を増やせますね。
この商品は下流32レーンなので、x16x16(フル帯域2GPU)とかx8x8x8x8(半帯域4GPU)とかにできます。

[CopenDeCamp @CopenDeCamp]

@Dt2Killer @murasametech いえ、そうではなくてx8x8に分割できます。
CPUがサポートするPCIEレーン数を決めているので。

[CopenDeCamp @CopenDeCamp]

@gradeon2 PCIEスイッチ届いて、スリッパじゃないけどx8x8x8x8で動いてるよー
https://t.co/Onz0Ju3CkJ

[CopenDeCamp @CopenDeCamp]

🥰🥳🥰🥳🥰🥳
#ローカルAI

[CopenDeCamp @CopenDeCamp]

明日会社だってのに😂
ライザースロットとPCIEスイッチ待ち
#PC暗黒面の導き #Radeon

[CopenDeCamp @CopenDeCamp]

@murasametech いえ、4枚中の2枚をテンソル並列で動作させています

[CopenDeCamp @CopenDeCamp]

こちらの件、実運用で２並列したときの速度感もどうぞ
大体45-50tok/s程度のようです
https://t.co/a9tcvvKd5s

[CopenDeCamp @CopenDeCamp]

OpenCodeでQwen3.8 27B で開発しているけど、
なんか巷で言われているほど、出力なしとかにはならないかな
xhigh使っていて確かに思考は長いけど、Compactionを複数回繰り返して最終的には正解に安定してたどり着く
おそらくllama.cppだと、Compaction繰り返すとPrefillが長くて、TTFT地獄でストレスマッハになるだろう
もしかすると、R9700x2とTaichiCreatorでx8x8にしてdockerでstilldeadcode/vllm-radianceを使うのが、一番安く、しかもスループットを維持しながら、ローカルLLMで開発できるかもしれない

<構成>
CPU:用途に応じたAM5
メモリ:必要なだけ
MB:TaichiCreator
GPU:AI PRO R9700 x2
ストレージ:必要なだけ

#ローカルLLM #Qwen

[CopenDeCamp @CopenDeCamp]

MTPを2にすると最大80 tok/sまでブーストできます

[CopenDeCamp @CopenDeCamp]

@murasametech と言っても2年で200万はまあまあキツいぞ😅

[CopenDeCamp @CopenDeCamp]

@murasametech いえ、GPU2枚でvllmのtensor-parallel=2で運用しています
残りの2枚は開発のCTest実行に開けとかないとOOMで転けちゃうので

[CopenDeCamp @CopenDeCamp]

@AiXsatoshi 凄すぎて何も言えない…

[CopenDeCamp @CopenDeCamp]

GPU4枚組にするとThreadripperにしたり、PCIeスイッチ拡張ボードを購入する必要が出て、予算が跳ね上がるので、2枚がベストです
私のように開発タスク側でVRAMを使うのであれば、4枚組にしたほうがよいです

[CopenDeCamp @CopenDeCamp]

OpenCodeでQwen3.8 27B で開発しているけど、
なんか巷で言われているほど、出力なしとかにはならないかな
xhigh使っていて確かに思考は長いけど、Compactionを複数回繰り返して最終的には正解に安定してたどり着く
おそらくllama.cppだと、Compaction繰り返すとPrefillが長くて、TTFT地獄でストレスマッハになるだろう
もしかすると、R9700x2とTaichiCreatorでx8x8にしてdockerでstilldeadcode/vllm-radianceを使うのが、一番安く、しかもスループットを維持しながら、ローカルLLMで開発できるかもしれない

<構成>
CPU:用途に応じたAM5
メモリ:必要なだけ
MB:TaichiCreator
GPU:AI PRO R9700 x2
ストレージ:必要なだけ

#ローカルLLM #Qwen

[CopenDeCamp @CopenDeCamp]

@Hikari_07_jp お疲れ様でした

[CopenDeCamp @CopenDeCamp]

@mch_tamaya 4枚はダメですね
PCIスイッチかHEDT(スリッパやジーオン)が必要になってしまいます
2枚でよいかと
4窓ぐらいまでは50tok/sを維持できますよ

[CopenDeCamp @CopenDeCamp]

@tjm8874 Intel(SYCL)はAMD(ROCm)よりも苦労するかと...

[CopenDeCamp @CopenDeCamp]

みんなDGX Sparkを二台買ってるのに
R9700を四枚買ってしまった逆神😇

#ローカルAI

[CopenDeCamp @CopenDeCamp]

@rS_alonewolf いいねよりもブックマーク多いツイートは有用な物が多い

[CopenDeCamp @CopenDeCamp]

使っているモデルはQwen公式のFP8です

[CopenDeCamp @CopenDeCamp]

ちなみにGPUカーネルのポインターずれとか
難し目のタスクもちゃんとバグスイープできてます