chorisso

[chorisso @uchidayud]

【5/5】
🔍 5. パラメータ
・-ngl 99 / --gpu-layers-draft 99 : 100% GPU
・--spec-type draft-mtp : MTP指定
・-c 262144 : モデルの限界
・-ctk q4_0 / -ctv q4_0 : KVキャッシュ4bit化
・-t 6 / -tb 6 : 物理8コア中6スレッドに制限
・-fit off : Vulkanのメモリ確保バグによるクラッシュ回避

[chorisso @uchidayud]

【1/5】
【VRAM16GBのAPUでGemma 4 26Bを262Kコンテキスト＆17t/sで動いた設定】
ループせずに「超長文×そこそこ高速化」を両立できたので、再現できるように環境・モデル・起動パラメータをポストします！APU環境の人はぜひ試してみて👇

[chorisso @uchidayud]

【4/5】
4. コマンド
./llama-cli -m gemma-4-26B-A4B-it-qat-UD-Q4_K_XL.gguf -ngl 99 --model-draft mtp-gemma-4-26B-A4B-it.gguf --spec-type draft-mtp --gpu-layers-draft 99 --spec-draft-n-max 6 --spec-draft-p-min 0.7 -c 262144 -fa on -ctk q4_0 -ctv q4_0 --no-mmap -t 6 -tb 6 -fit off

[chorisso @uchidayud]

@NiwaKunihiko すごい！真似させてもらいます。
今度gwsstudioで追加される「notebookへのソース追加」アクションで自動プロンプト追加や、フローでのプロンプト自己改善ループとか実装できたら面白そうです！

[Sudo su @sudoingX]

if you try to run qwen 3.5 27B with OpenCode it will crash on the first message.

OpenCode sends a "developer" role. qwen's template only accepts 4 roles: system, user, assistant, tool.
anything else hits raise_exception('Unexpected message role.') and your server returns 500s in a loop.

unsloth's latest GGUFs still ship with the same template. the bug is in the jinja, not the weights. no quant update will fix it.

the common fix floating around is --chat-template chatml. it stops the crash. it also silently kills thinking mode. your server logs will show thinking = 0 instead of thinking = 1. no think blocks. no chain of thought. you're running a reasoning model without reasoning and the server won't tell you.

the real fix: patch the jinja template to handle developer role + preserve thinking mode.

add this to the role handling block:
elif role == "developer" -> map to system at position 0, user elsewhere
else -> fallback to user instead of raise_exception

full command with the fix:
llama-server -m Qwen3.5-27B-Q4_K_M.gguf -ngl 99 -c 262144 -fa on --cache-type-k q4_0 --cache-type-v q4_0 --chat-template-file qwen3.5_chat_template.jinja

thinking = 1 confirmed. full think blocks. no crashes. that's what's running in the video in the thread below.

if you've been using chatml as a workaround, check your server logs for thinking = 0. you might be running half a model.

[まじん @Majin_AppSheet]

\ Hello World ! /
【無料版】まじん式 v4

動画からスライドが自動生成！？動くグラフも！？

@Majin_AppSheet #note #Majincraft
https://t.co/M8kLv5fak1

[chorisso @uchidayud]

acemagic s3a 8745hsが49000円で購入できたので購入。早速vramにメモリ割り当てようとしてもbios画面に「AMD CBS」が出てこない
わざわざ隠しメニューにされてるようでbios画面の「Advanced」タブに移動した状態で、Ctrl + F1 キーを押すと表示されるので同じように困ってる人いたら参考にしてみて

[chorisso @uchidayud]

@NH5Atle0F7vDzPe ultraうらやましいです。私はt-box r2にしたのですがyoutubeの音ズレが少しありまして…（シーライオン7）
ultraは音ズレありませんか？

[chorisso @uchidayud]

@Shibu_beta 参考にさせていただいております🙏SL7の有線AA接続ご確認期待しております🙏

[chorisso @uchidayud]

@voyager150 明日試乗予定です。アカウント提示させていただいて購入に至る場合はご連絡させていただきます🙏

[chorisso @uchidayud]

先日急におかしくなったechoのホームシアター、firetvスティック初期化したらなおった！同じ事象の人試してみるべし

[chorisso @uchidayud]

#gemma-3n-E2B
充分な画像認識！

[chorisso @uchidayud]

@Mike_Scully_ n8n

[chorisso @uchidayud]

@architjn n8n

[chorisso @uchidayud]

@daigo_3_8 temparatureを'0'にしてもquestionsに登録したクイズではない新しいクイズを生成してしまいます。プロンプトで頑張って制御するしかないでしょうか…

[chorisso @uchidayud]

@daigo_3_8 ありがとうございます！週末試してみます＼(^o^)／

[chorisso @uchidayud]

@daigo_3_8 問題数が多い場合のやり方すごく興味があります！

[chorisso @uchidayud]

ゼンレスゾーンゼロのイベント #catchaboo でボンプを捕まえました！イベントに参加してリポストすると報酬をゲットできるチャンスが！
@ZZZ_JP
https://t.co/W1UAw5KI0q