kuroken

[kuroken @kurokenmaccom]

@Hussain0825 宗教って聖典の「解釈」によって殺し合いが起きるようなものなのに「訳文」を読んだだけで詳しいと自称できるのはある意味凄いなと。他国でも「自称俺は仏教or神道に詳しい」とか居るんですかねえ。

[kuroken @kurokenmaccom]

@fhiraki codexが優秀なんでclaude使わずに生きてる…そんなにclaude優秀だっけ？

[LM Studio @lmstudio]

Meet LM Studio's mobile app.

Your local models, now in your pocket.

[Ahmad @TheAhmadOsman]

Local AI hardware = capacity × bandwidth × software stack

- Capacity tells you what fits
- Bandwidth tells you how hard the box can breathe
- The software stack tells you how much of the spec sheet you can actually cash out.

Hardware by Memory Bandwidth
- Mac Studio M3 Ultra: up to 512GB @ 819 GB/s
- RTX PRO 6000 Blackwell: 96GB @ 1792 GB/s
- RTX 5090: 32GB @ 1792 GB/s
- RTX 4090: 24GB @ 1008 GB/s
- RX 7900 XTX: 24GB @ 960 GB/s
- Radeon PRO W7900: 48GB @ 864 GB/s
- AMD Radeon AI PRO R9700: 32GB @ 640 GB/s
- Intel Arc Pro B65: 32GB @ ~608 GB/s
- Tenstorrent Wormhole n300: 24GB @ 576 GB/s
- Tenstorrent Blackhole p150: 32GB @ 512 GB/s + 800G
- MacBook Pro M5 Max: 460-614 GB/s
- MacBook Pro M5 Pro: 307 GB/s
- DGX Spark: 128GB @ 273 GB/s (coherent + CUDA)
- Mac mini M4 Pro: 273 GB/s
- Ryzen AI Max / Strix Halo: ~256 GB/s (~96GB usable GPU)
- MacBook Air M5: 153 GB/s
- Snapdragon X2 Elite: 152-228 GB/s
- Intel Lunar Lake: 136 GB/s
- Snapdragon X Elite: 135 GB/s
- Mac mini M4: 120 GB/s
- Arc Pro B60: 24GB @ ~456 GB/s

Verdict

- GPUs are still the bandwidth kings

- Apple wins: stupid amounts of memory, don’t want to shard across GPUs
- Apple loses: when raw tokens/sec & concurrency matter more

- DGX Spark: coherent memory + NVIDIA stack

- Strix Halo / Ryzen AI Max: first real x86 unified-memory contender

- Tenstorrent: fully OSS stack, excited to see this mature

Fitting ≠ serving

Even if it fits, you still pay for
- bandwidth during decode
- KV cache growth
- dequantization
- batching + concurrency
- scheduler quality
- framework overhead

The only mental model that matters:

1. What must fit?
2. What bandwidth tier do I need?
3. What software stack can actually deliver it?

In short:
- NVIDIA → fastest raw speed
- Apple Studio M3 Ultra → biggest one-box memory
- Strix Halo → first real x86 unified
- DGX Spark → coherent NVIDIA dev appliance
- AMD / Intel Arc → rising alternatives
- Tenstorrent → fully opensource stack

Do ask: “which bottleneck am I buying?”

Not: “which hardware is best?”

[「SPRESENSEに興味あり」 @spresense]

話題のマルチIMUを触ってみた！（センサー比較） その12 https://t.co/mmMVnorvT3

[kuroken @kurokenmaccom]

@fhiraki この辺りの内容を元にオススメな方のタイムラインが生成されてるのかなと

[kuroken @kurokenmaccom]

@fhiraki 右上のi押したら「読んだ記事がここに残るよ」って書いてあった。長押し気づかなかったよ。ありがとう。と言うわけで片っ端から消してる。

[kuroken @kurokenmaccom]

@fhiraki そのHistoryのとこにあるArticlesってどう言う基準で並んでるの？というかどうやったら消せるの？

[M5Stack @M5Stack]

Please try : https://t.co/uq4Xip2t0E

[フルエレ @fluele_alpha]

【技術補足】
Apple WatchでローカルLLMを動かす最大の壁はメモリ上限（実測約314MB）でした。
最初はCore MLで挑みましたが、4bitでも実行時に重みがfp32に展開されて約1.5GBまで膨らみ即死🥺
MLXはwatchOS非対応。
そこでランタイムを変更しました！
解決策は「GGUF + llama.cpp」です！✨

これをwatchOS向けに自前ビルド（arm64/CPU推論）しました。
llama.cppなら重みを量子化したままRAMに置くため、高品質なQ4_K_Mモデルでもピークメモリを267MB（残47MB）に抑え込み、314MBの天井を見事クリア！🙌

結果、Watch単体（CPU）でも16 tok/s超えの爆速でサクサク会話できるように！✨
「4bitで軽い」はディスク上の話で、重要なのは「実行時メモリで展開されないか」でした👀
腕の時計だけで350MのLLMが動いてるのって、最高にロマンですよね！🤖
(でもQ4_K_Mで話してると稀に落ちるのは内緒です笑）

[kuroken @kurokenmaccom]

@fhiraki https://t.co/qAJboqPquL

ちょっと古い記事だけどこんな感じ。ちゃんとアップデートしてますよ。
MOEとかもちゃんと対応して可能な限り少ないメモリでも動くようになってるし。

[kuroken @kurokenmaccom]

@ekusuy7 「十分に高度な科学技術は、魔法と区別できない。」とはこの事ですよね。

[Dr.もさり｜山本 康博 @drmosari]

https://t.co/0vIAAKmPOK

[はやたす@著書【Pythonブートキャンプ】 @hayatasuuu]

スタンフォード大学の統計学教授が書いた
「統計的学習入門 Pythonバージョン」が
PDFで無料ダウンロードできる

・線形回帰
・分類（ロジスティック回帰・LDA）
・交差検証・ブートストラップ
・正則化（Ridge・Lasso）
・決定木・ランダムフォレスト・ブースティング
・サポートベクターマシン
・深層学習
・教師なし学習（クラスタリング・PCA）

機械学習を「なんとなく動かす」から
「理解して使う」レベルに引き上げたい人におすすめ。

https://t.co/JYMLG0L214

[kuroken @kurokenmaccom]

@kazoo あー、w
逸般の誤家庭的にはCAD上で分割したモデルを3Dプリンタで出力して渡したいところですねえw

[kuroken @kurokenmaccom]

@Kirin123Go ルマンとかで走ってた奴はエンジンも車軸の内側に行ってミッドシップでしたしねえw
ま、歪でも自分が重心に移動すればバランスは良いんですよ？(詭弁)