つかも

イヤホンをつくるシステムエンジニア

[Tibo @thsottiaux]

We will give one banked reset for every day you don't have access to Astra on your paid ChatGPT plan, starting today. Team is moving mountains to give access as fast as we can.

First one will land in ~ 3 hours. There is still time to create your account if you don't have one.

[つかも @tsuckamo]

codex /reset

[buun @spiritbuun]

Qwen3.8-Flash-Next now fully supported by buun-llama!

I'm getting 41.6 tok/s on my 1x3090 with 64gb ram, using UD-Q4_K_XL & MTP.

Try it today!

[つかも @tsuckamo]

llama.cpp # 28213 / Unsloth # 165でも同じ方向のPRが出ているけど、ik_llamaではまだ未実装だったので移植して検証 いただいた。サンキューcodex！

[つかも @tsuckamo]

Qwen3.8-Flash-Next、長文処理改善きた！

ik_llamaのQSAをgather化して、
「top-kで約2K選ぶのに、FAは130K全部走査」
していた部分を、

130K KV → top-k 2051 → compact 2304 → FA

に変更

TG:
8K 33.55 → 34.08 (+1.6%)
64K 25.55 → 32.22 (+26.1%)
128K 18.52 → 29.44 (+59.0%)

[つかも @tsuckamo]

mac miniにrdpで繋ぎたい人増えてるんじゃまいか？という事で

[つかも @tsuckamo]

https://t.co/eomRoZXyMN

macにRDPで繋ぐやつ。普通に良さそうだし、最近はMAC側もosの仕組みが増えてきてるようなので、バイブコーディングでさらに改善できるかも

[AJ @ItsmeAjayKV]

Qwen3.8-Flash just got whole lot faster now.

MTP has landed on llama.cpp (WIP) !!

And i got it's benefit on my 3090 🥳

@UnslothAI llama.cpp fork got MTP support, and using their MTP shared-draft file i ran Qwen3.8-Flash-Next-IQ3_XXS quant.

Same flags:
-ncmoe 34
-ngl 999,
- kv at q8_0
- draft: mtp-Qwen3.8-Flash-Next-shared-Q4_K_M.gguf
- n-max 3

Results on my 3090 + 64GB RAM:

Decode avg (Without -> MTP)
- 16k: 33 t/s -> 32 t/s
- 32k: 29 t/s -> 39 t/s
- 64k: 23 t/s -> 38 t/s

Peak decode got massive improvement:
- 8K: 37 -> 43 t/s
- 16K: 35 -> 38 t/s
- 32K: 30 -> 42 t/s
- 64K: 24 -> 48 t/s

VRAM:
21.5GB -> 23.3GB (+1.8GB)

At 64k, average decode jumps from 23 - 38t/s, while peak hits 48 t/s

The interesting part is how much t/s increase i got, i'll be testing with different n-max now and will be coming with more results.

That's pretty wild jump for a 3090 !

[鈴木ユキ@Tec盆栽/ローカルLLM @yukin_co]

この件、とりあえず、security/auth関連として一次分類されて、CIの実行承認待ちになってましたー！

[ボブにゃんVRC @zapabob_ouj]

HermesAgent使ってる人かなり深刻なクレデンシャル漏洩に覚悟したほうがいいです。GHSAで報告しても握りつぶされました。

[つかも @tsuckamo]

Qwen3.8をコンシューマGPUで動かすなら、動的hot-expert VRAM cacheが効きそうだなぁ。buun llamaにしか実装されてなさそうで、buun側のQwen4アーキテクチャ対応待ちって感じかしら？

[Vieirowski @joaosump]

A little bit of a prefill tradeoff but completely worth it.

Single 3090 + RAM offload. At this point cannot wait for my 5090 to come back 😪

Same hot-expert implementation from @spiritbuun , will try to port a PR to his repo for the ones interested

https://t.co/DaMiW8brm8

[つかも @tsuckamo]

Qwen3.8-Flash-NextはRAMが確保できてれば割と動くな！UD-Q3でもTG 20tpsは出る

でもPPが壊滅的に遅いなぁ。なんでだろう〜

[つかも @tsuckamo]

Qwen 3.8 Flash Nextは意外と激アツかも！デカすぎて射程外と思ってたけど、RAMいっぱい積んでればいけるかもしれん。

ただ、新アーキテクチャなので、llama.cppでもしばらくはまともに動かないんじゃないかな…？

[Snapdragon Japan @Snapdragon_JPN]

／
好評につき第二弾CP実施中🎊
＼

Snapdragon® 8 Elite Gen 5 for Galaxy搭載 「Galaxy Z Flip8」を抽選で1名様にプレゼント🎁

【応募方法】
① @Snapdragon_JPNをフォロー
② この投稿をリポスト

さらに「スナドラGalaxy」とリプすると当選確率が2倍にアップ✨

⏰応募締切：9/13(日)23:59まで

[ソニーミュージックショップ @SonyMusicShop]

【#SonyMusicShop 夏のX 3連祭り🎉第2弾】

＼今すぐ応募！フォロー＆リポストで🎁／
ソニーの完全ワイヤレスイヤホンWF-1000XM6 が当たる✨

🔽応募方法
①@SonyMusicShopをフォロー
② この投稿をリポストで応募完了
📅締切：8/24(月)23:59
第3弾もお楽しみに🎵

#WF1000XM6

[つかも @tsuckamo]

…速いだけだなぁ。日本語だからかなぁ。

[つかも @tsuckamo]

今日はOrnith-1.5-35B-A3Bで遊ぼう
公式の重みはMTP壊れてるらしいのでこっちに差し替えると良さそう。

shisa-ai/Ornith-1.5-35B-A3B-MTP-ONLY

[つかも @tsuckamo]

Model: AtomicChat/Ornith-1.5-35B-A3B-GGUF
Quant: AD-Q5_K-Q4_K
MTP: shisa-ai/Ornith-1.5-35B-A3B-MTP 12K KL-distilled
MTP quant: Q6_K
Vision: Ornith BF16 mmproj
Context: 262144
KV cache: Q8_0
Flash Attention: on
MTP depth: 3
Draft minimum: 0
Draft probability minimum: 0.0

[つかも @tsuckamo]

MTPヘッダのスイートスポットはやっぱりQ6ですね