KimSunIl

[KimSunIl @ksuniri]

이게 또 돼네… 갑자기 기분이 업돼네

[Alex Cheema @alexocheema]

Running Kimi K2.5 on my desk.

Runs at 24 tok/sec with 2 x 512GB M3 Ultra Mac Studios connected with Thunderbolt 5 (RDMA) using @exolabs / MLX backend.

Yes, it can run clawdbot.

[KimSunIl @ksuniri]

사실상 하나의 하드웨어 스펙으로 아런 가중치를 돌릴수는 없지

[Alex Cheema @alexocheema]

Running Kimi K3 on my desk?

It will require 4 x 512GB M3 Ultra Mac Studios (2TB @ 3.2TB/s).

Waiting on active parameter count, but based on the rumours I expect we can run it at 30+ tok/sec with MTP + Tensor Parallelism using RDMA over Thunderbolt 5.

Prefill will be slow but 512GB M5 Ultra should make that ~5x faster (expecting in October).

It will be on local dot ai with full benchmarks as soon as the weights drop. Comment below for early access - sending access codes out throughout the day.

[KimSunIl @ksuniri]

@macintogdev @alexocheema 저또한 너무 기대 돼네요

[KimSunIl @ksuniri]

@belle_xrpl XRP TESTING…..

[KimSunIl @ksuniri]

@Alisvolatprop12 @ohmahahm 쏟아지네요….

[KimSunIl @ksuniri]

그는 NeutronStar라는 엔진을 만들었습니다. 이는 antirez (Redis 만든 사람)의 ds4 (DeepSeek V4 Flash 특화 고성능 inference engine)를 CUDA로 포크한 버전입니다.
주요 아이디어:
• 항상 VRAM에 올려두는 것: Attention 레이어 + Shared Expert
• 토큰마다 SSD에서 불러오는 것: Routed Expert들 (MoE의 핵심)
• ds4가 원래 MLA (Multi-head Latent Attention) 전용이었기 때문에, Hy3가 쓰는 GQA (Grouped Query Attention) 경로를 새로 작성
• 2-bit GGUF를 ds4 네이티브로 만들어서 메모리 사용량을 극한까지 줄임
이게 바로 “SSD를 RAM처럼 쓰는” 접근입니다. ds4 원본도 Mac에서 NVMe를 적극적으로 활용하는 걸로 유명한데, Gianni가 이걸 NVIDIA + MoE에 맞게 확장한 형태예요.

[Gianni @Giannisanii]

Running Tencent Hy3, a 295B-parameter MoE, on one RTX 4060 Ti 16GB.

How: NeutronStar (my CUDA fork of @antirez's ds4) keeps attention + shared experts resident and streams the routed experts off an SSD per token, so a 295B model runs on a $400 card. Had to write a new GQA attention path (ds4 was MLA-only) and build a ds4-native 2-bit GGUF.

~1.8 tok/s, interactive chat. Weights:
https://t.co/IWsxg6qqYm

[KimSunIl @ksuniri]

@BosonJoe 너무 감사합니다..좋은 하루 되세요

[KimSunIl @ksuniri]

가중치가 어떻게 2 x DGX Spark 에 다 들어왔는지 궁금하네

[Joe Muller @BosonJoe]

GLM 5.2 @ 19.8 tok/sec on 2 DGX Sparks ⚡️

I switched to a dspark draft model with K=2 (model from @RedHat_AI)

Acceptance is ~68% because the drafter was trained with the full FP8 model...

Next step is to fine tune the drafter so acceptance on this super quant goes up

[KimSunIl @ksuniri]

@BosonJoe @RedHat_AI 테스트 하신 glm5.2 모델을 알려주시면 감사하겠습니다

[KimSunIl @ksuniri]

@evaninwords 동의 합니다

[KimSunIl @ksuniri]

DGX Spark + MacBookPro M5 MAX + M5 Ultra 512g 다 써보자

[EXO Labs @exolabs]

Clustering NVIDIA DGX Spark + M3 Ultra Mac Studio for 4x faster LLM inference.

DGX Spark: 128GB @ 273GB/s, 100 TFLOPS (fp16), $3,999
M3 Ultra: 256GB @ 819GB/s, 26 TFLOPS (fp16), $5,599

The DGX Spark has 3x less memory bandwidth than the M3 Ultra but 4x more FLOPS.

By running compute-bound prefill on the DGX Spark, memory-bound decode on the M3 Ultra, and streaming the KV cache over 10GbE, we are able to get the best of both hardware with massive speedups.

Short explanation in this thread & link to full blog post below.

[KimSunIl @ksuniri]

@PaulGoldEagle XRP HUGE~~~PUMPPING~~~

[KimSunIl @ksuniri]

@pathofsuccess92 자금 유동성이 조용히 방향을 트는거 같습니다.

[KimSunIl @ksuniri]

@belle_xrpl 엑스알피 빨리쓰자 니뽄나~~

[KimSunIl @ksuniri]

@pathofsuccess92 네 형

[KimSunIl @ksuniri]

@403dh97 @krakenmiller 토 달게 없습니다 … 너무 정확하십니다

[KimSunIl @ksuniri]

Macbookpro M5 MAX 128g 있으니까 이번에 M5 Ultra 512g 이상 구입후 EXO 로 묶으면 왠만한 모델 좋은 성능으로 돌릴수 있겠군

[KimSunIl @ksuniri]

이게 또 돼네… 갑자기 기분이 업돼네

[Alex Cheema @alexocheema]

Running Kimi K2.5 on my desk.

Runs at 24 tok/sec with 2 x 512GB M3 Ultra Mac Studios connected with Thunderbolt 5 (RDMA) using @exolabs / MLX backend.

Yes, it can run clawdbot.

[Alis volat propriis @Alisvolatprop12]

지금도 DGX spark * 8 way (qsfp56 via ConnectX-7 port and switcher)로 1TB를 저렴하게 구축할 수 있습니다.

Exo를 이용하면 이종 연결로도 가능하고요.

[KimSunIl @ksuniri]

@Alisvolatprop12 Exo 알려주셔서 감사요….