umi

ついったやってるよ！

[umi @umihara666]

FreeTokenの影響でメモリの価格がさらに上がっていく？

[umi @umihara666]

DGX SparkもRTX5090も今はやめとけの民
本来半額くらいだから
でもしばらくは価格下がらないのかな

[さたしき / ｳﾙﾄﾗｿｳﾙ駆動人間 @qibiz_me]

価格がガンガン上がってますね。

[David Hendrickson @TeksEdge]

🤯 A localmaxxer hit ~381 tok/s on a SINGLE RTX 3090 with Qwen3.8-27B.

This developer has turned a 24GB RTX 3090 into a monster Qwen inference box - w/some creativity.

Four days ago 👉 ⚡ ~82 tok/s single-user

Then 👉
⚡ ~114 tok/s with optimized MTP
⚡ ~138 tok/s with DFlash2 + lookup drafting

Now 👉 🔥 ~381 tok/s on ONE request

How? The recipe combines ...
🧠 Qwen3.8-27B
🎮 1× RTX 3090 24GB @ 250W
⚙️ heavily optimized vLLM
⚡ DFlash2 speculative decoding
🔎 lookup-augmented drafting
📚 prefix caching
🧮 16-token verification blocks
💾 quantized KV / heads / activations

DFlash2 normally proposes 7 tokens.

The developer realized the verification block doesn't have to stop there.

If Qwen is answering from a document already sitting in the prompt, the system can fill the remaining draft positions using tokens found directly in that context.

🎯 So the target model can verify 16 tokens at once.

On a ~25K-token document reproduction task:
Previous DFlash2 👉 ~260 tok/s

Longer verification + context lookup 👉 🔥 ~382 tok/s

Acceptance:
🤯 15 of 16 tokens per verification step

That is where the crazy number comes from.

⚠️ On ordinary real-world chat prompts, the same setup is around ~133 tok/s

Still extremely fast for a dense 27B model on an RTX 3090.

The 381 tok/s mode shines when the answer largely comes from material already in context so these are best use cases
📚 RAG / document Q&A
💻 Coding assistants applying edits
📝 Quoting or rewriting documents
🔎 Extracting information from long prompts

And another optimization 👉 With prefix caching, a second question against the same 25K-token document reportedly goes from:
🐌 22.4 sec TTFT
→
⚡ 0.56 sec TTFT

Because the model doesn't need to process the whole document again.

🎯 It's specifically a mode for RAG front ends and coding agents.

Follow iamMess on Reddit or syv-ai on GitHub

🔗 Reddit: r/LocalLLaMA/comments/1vtup5s/
🔗 GitHub: /syv-ai/qwen38-27b-rtx3090

[umi @umihara666]

オランダに11年以上住んでるけどそろそろ引っ越しかも
タイ、ベトナム、カンボジア、マレーシア、台湾あたりか

[umi @umihara666]

Hermes Agentが自分でSOUL.md作ってルール書き込んだのに
SOUL.mdに書いてるルールを何故か勝手に無視する時がある
そして聞いてもなんで無視したかわからないらしい🤔

[あばろ @abalol]

エンジニアと結婚したい人へ

8GBのGPUで27Bのモデルが動くんだって 5t/s らしいよと言ってみてください

さっぱりわからん顔したらAIに疎いのでもう少しだけ勉強させた方がいいです

実用性がないと言ったらその人はつまらない人です

ワクワクし始めたら財布はあなたが管理してください

[umi @umihara666]

@dramadaisakusen @daiantsuda え　短い

[umi @umihara666]

勘違いしてる人いるかもだけど
DGX SparkのNVIDIA DGX™ OSはほぼUbuntuだよ
安心安全だよ

[umi @umihara666]

DGX Spark3台目欲しい
2台はもうDeepseek v4 flash 0731から動かせない
画像認識と画像生成出来るモデルを併用したい
RTX Spark出るまで待つかな

[umi @umihara666]

@XOXO_x16 コントをやるっていう条件が一番ハードル高いみたい

[umi @umihara666]

ええっ？

[ライブドアニュース @livedoornews]

【なんと】元日に解散の天竺鼠、“元天竺鼠”として「キングオブコント」準々決勝登場へ
https://t.co/v93bBSY5qY

13日に開催される準々決勝の出場者に「元天竺鼠」との名前があることがSNSで話題に。所属事務所は9日、天竺川原と瀬下豊の2人がシード扱いで参加すると認めた。

[umi @umihara666]

@NETCAFE_TENCHO API利用はAntigravityに限定されてるっぽいんですよね

[umi @umihara666]

Google AI ProをサブスクしてるけどAPI利用は別のプランっていうのが微妙なところ
NanoBanana使えるのはいいけど
エージェントにAntigravityしか使えないのが厳しぃ
Hermes使えるだけで大分違ってくるんだけどなぁ

[umi @umihara666]

これを試してみる

[Tech2Wild @Tech2Wild]

Made A Recipe To Give Deepseek V4 FLASH Vision ! It works with the current Deepseek Model Your Running.

DeepSeek V4 Flash can't see. Now it can.

I bolted a 0.8B vision model onto it and put a shim in front that speaks the normal OpenAI API. Point any harness at one URL and your text-only model just accepts images.

No tool wiring. No preprocessing. No harness patch. No redownloads

I sent it a photo. It came back:

"A boy in an orange shirt is pouring green liquid from a bowl over his own head, laughing as it splashes around him."

That's a model with zero vision, describing a photograph. 1.7 seconds.

Costs about 3GB of RAM next to DS4. On 2x DGX Spark you've got ~18GB spare, so it fits with room left.

Zero dependencies. Pure stdlib. MIT.

https://t.co/sP7BboWWS7

[umi @umihara666]

キングオブコントだけ出続けるのまだ続けてた

[umi @umihara666]

DeepSeek v4 Flash
https://t.co/CbJ5VvSddg
今までずっとこれで動作させてるけど

https://t.co/dA5Gx6nKgP
気になってるから一応こっちも試しておこうかな

[umi @umihara666]

DGX Spark 1ヶ月で€500くらい高くなってる

[umi @umihara666]

DGX Spark 2台がDeepSeekに占有されてるから3台目が欲しくなっている

[umi @umihara666]

@netatank @teilswing 月1000円ちょいで使えるくらいの量しか使わない人はAPI利用でいい
今はPCがめちゃくちゃ割高だから余計にそう感じるんだと思う
格安でクラウドにデータ保存できるのに高額なNAS買う意味がわからないって言ってる感じ
賃貸vs持ち家 自家用車vsタクシー 自炊vs外食 あたりも似てる
そして誰が言ってるの