jaiball

特にお伝えする事のない日々からネタを探して呟いています。

[jaiball @jaiball7]

Nemotron 3 UltraがDGX Spark x8 clusterでまあまあな速度で動いた。 ローカルで550Bモデルが使い放題

[jaiball @jaiball7]

@24shi_web 発売おめでとうございます。購入させていただきました。

[jaiball @jaiball7]

@Yacamochi_db 600GB/sは c2c interconnectの速度ですね。

[jaiball @jaiball7]

Qwen3.5-122B-A10B / DGX Spark / vLLM 0.17.1 / NVFP4 W4A4 / cutlass

1k : 8k : 17k prompt
TP=1 33.4 / 32.6 / 32.0 tok/s
TP=2 44.7 / 44.0 / 43.4 tok/s
TP=4 52.5 / 51.8 / 50.9 tok/s

線形には速くならないけど、少なくともネットワークのオーバーヘッドはTP=4ならまだ許容できる

[jaiball @jaiball7]

DGX Spark ×4 (TP=4, 200GbE RoCE)
Qwen3.5-397B-A17B NVFP4

92kトークンのプロンプト 2並列推論を約50分で完走。

・TTFT: 1194ms / 1235ms
・throughput: 10.17 / 9.99 tok/s
・context: 262,144

オンプレでこの規模がこの安定度で動かせるのはうれしい。

#DGXSpark #Qwen

[jaiball @jaiball7]

mac側もmlx-lmにしないとフェアじゃないね。

[jaiball @jaiball7]

Qwen3.5-397B-A17BによるM3UltraとDGX Spark TP4の推論性能比較

M3 Ultra 512GB MLX 4bit
TTFT 2,705ms / 33.67 tok/s

DGX Spark TP4 NVFP4 / SGLang / EAGLE
TTFT 418ms / 52.32 tok/s

これはコンピュート差なのか、それともTP4による帯域並列化の効果なのか。
#DGXSpark #NVIDIA #Qwen #SGLang

[jaiball @jaiball7]

DGX Spark 最新ファームでの通信速度、TP2推論速度の変化。NCCLが7x化けた割にTP=2推論は+3〜5%程度。MiniMax-M2.7/TP=2では通信ボトルネックじゃなかった？

#DGXSpark　#ローカルLLM

[jaiball @jaiball7]

@fukuroupiyopiyo かわいいがすぎる！

[jaiball @jaiball7]

トイレなおったかな･･･
https://t.co/ZeOPQFJHe8

[きょうたつむら@帰国 @11c]

Wiseカードで600ペソ（約5,000円）を引き出したら46万円請求された全記録【メール全文・証拠公開】｜tabitabiwago @tabitabiwago https://t.co/Nw5rbilTT0

懸念していたリスクが現実となってしまった。
僕がRevolutやWiseを使わない理由はこれ。

[jaiball @jaiball7]

@marcy_sns 2次、3次の会社があって4ヶ月800万なんて金額でやれるかなあ？…

[jaiball @jaiball7]

カインズすげえな･･･

[jaiball @jaiball7]

「AI副業スクール」系の広告よく見るけど、冷静に考えて。AIに任せられる作業をわざわざ人に外注する企業は少ない。本当に仕事でAI���使いたいなら、高い受講料を払う前に、無料で学べる情報はたくさんあるよ。（稼げるかどうかは別として）

[jaiball @jaiball7]

@24shi_web 上限はやってみないとわからない。」となるそうです。
TS5Plusを導入してもこの問題は解決しないので、TB5ケーブル1本で済ますとなるとリフレッシュレートの問題はどうしてもつきまとってしまうのだろうと思われます。実用上は問題ないと感じていますが。

[jaiball @jaiball7]

@24shi_web す��ません、念のためLGとのやりとりを確認したところ、ご説明させていただいたことと逆で
「モニタのみ2台を接続しているときは（上り80Gbps/下り80Gbps）で動作し、モニタ2台とも6K 120Hzでの動作が可能
ドックに何かを接続すると（PC向け帯域120Gbps/モニタ向け帯域40Gbps）にリフレッシュレートの

[jaiball @jaiball7]

@24shi_web LG 40U990A-WをThunderBolt5のDaisyChainで2台接続して使っています。
モニタのドックを使わないときにはBandwidthBoostの120Gbpsで2台のモニタがつながっていますが、ドックに何かを接続しPC側への通信が発生するとBandwithdBoostが解除され上下80Gbpsの帯域でそれぞれが接続されます。

[jaiball @jaiball7]

HHKB Studioのポインティングスティックを引っこ抜いてキーキャップをPBTfansにしたら最高なんだが。
#HHKB #PBTfans

[中田:‖ @paddy_joy]

18-39歳だけで投票したら自民党は泡沫野党になるのだいぶ面白い。チームみらいは自民党並みの票を獲得してるし、最大勢力は国民民主と参政党。いくら少子高齢化した人口構成とはいえども若い世代が政治に一定の影響力を与えていることがわかりますね。