nao

Linux,Mac,iPhone,モバイル系ガジェットとか基板大好き。組み込み、制御、システムプログラム屋。

[nao @yamap]

halogen素晴らしい。unslothさんのQ4_K_XLのgguf+halogen update+omp->opencode2で今の所安定。halogenオリジナルよりは遅くなるが他より速くて品質同等になる。特に長くて難しめなコーディングタスクやレビューで差が出る。strix haloが動くが遅いからまあまあ使えるレベルに格上げかな

[nao @yamap]

halogen-flash-serverでq38fnを試してみてるがとても速いのだが、実装タスクの途中で止まる、完了しない現象がでる。nathanw1013とQ4-K_XLだと起こらない。速度は1.5-2遅いが確実。halogenで同じモデル使ってみるかな。短いチャットだとわからないが長いタスクで発生して残念

[nao @yamap]

@cozybearlog I tried Q4_K_XL GGUF, updated the halogen, and changed the harness from OMP to opencode2. So far, everything is working flawlessly, but I think more testing is needed. Also, while Q4 is slower, I'm satisfied with its quality, which is better than the original halogen.

[nao @yamap]

mac studio m5 ultraめっちゃ欲しい！けど256gbで190万オーバー。買えん。。。

[nao @yamap]

strix haloで動くhalogenすごい。nathanw1013でもq38fnの最大瞬間pp800近く出てて良かったけど、一段速い。やっとstrix haloが本気出してきた感。llama.cpp本家はamdに冷たいけど。次の波はssd streamとngram。lm界隈変化激しくて楽しい

[nao @yamap]

qwen3.8 27bが悪いということではなくとても良いモデル。小さいしかなり賢いしエージェントは回せるし。更に大きいflash nextは少し前のクラウド中低クラス並み。素晴らしい性能で重み公開は非常に有難い。実務で使うと大きさなりの賢さなので高いgpuだと割に合わない。で皆さん何に使ってるのか？と

[nao @yamap]

Qwen3.8 27bなどの小型モデルがopusやsolあまつさえfable/astraに近い、実用できるという人たちは何をさせているんだろう。現実問題簡単なタスクは可能だしワーカーや補完役、翻訳、要約は出来るけど難易度高い設計などを任すのは無理。安いのが欲しいならlunaやdeepseekでも使うとずっと良い

[nao @yamap]

iPhone Duo。高すぎてVision Proの二の舞になりそうな予感。モノはいいけど買うのは一部のみという感じかな。ドル円100円くらいにならないかなー

[nao @yamap]

月刊DeepseekからDeepseek-V4.1-Flashが早くも登場。凄いペースとしか言えない。V4 0731でもだいぶ賢くなったけど更に上がるか。しかしパラメータ数が485bとhuggingfaceに出てるので128GB勢にはきついサイズかな

[nao @yamap]

iPhone Duo欲しい。けど流石に高すぎる。。。余裕でMacbook Air 15/32gb ramが買えてしまう。これは家庭内稟議が通らない奴。。。

[nao @yamap]

halo-boxのvulkanビルドでエージェントループ回してみた。確かに高速なんだけど、出力がおかしくなったりループしたりツールコール失敗したりする。メインラインに戻すと同じ現象にならない。まだ安定とはいえないようだなー

[nao @yamap]

strix halo向けのllama.cpp fork多すぎ。とりまhalo-boxさんとこのを使用中。ppが急激に落ちる問題が軽減され、tgも上流より20%位速い。安定度や精度は未知。公式のでもエージェントで長時間回してると途中でストールしたりするので安定度は重要。誰かのforkを皆で突くのが良さげ。コントリしよかな

[nao @yamap]

gpt 6 astraを使ってみようとxhighでコードレビューさせたらあっという間にトークン食い尽くしてしまった。$20では厳しい。。。

[nao @yamap]

でもrocmなのかmtpなのか回してると落ちてしまった。まだ安定動作とはいかない模様

[nao @yamap]

qwen3.8 flash next q4-k_xlでunslothさんとこのmtpをprのバッチ当ててllama.cppで試してみた。ついでにrocm10で。長いエージェントループだとバラツキは大きいが平均のppが数十から200。tgは9-17。mtp無しのx1.3-1.7というのはリアルな感じ。タスク完了まで数時間かかかるので3割減るのは大きい

[nao @yamap]

qwen3.8 flash nextは僕が試してるお題では初めてcodex/opusによるレビューループで完成まで辿り着けた。ds4 に近い。かなり優秀。とはいえよく喧伝されているようなフロンティア同等はない。qwenは10ターンで完成だがsolは同じお題で初回で軽微な指摘のみ。次のターンで完成。判定、評価はopus5

[nao @yamap]

llama.cpp本流にqwen3.8 flash next対応がマージされましたね。本当に動き速いです。strix halo でコンテキスト200-250kでvulkanだとpp100, tg10前後になる。vramは92gb使用。3.5 122bと比べても遅い。推論中gpuを75%しか使ってないのでngramをcpuで処理してるせいか。apuに有利そうなアーキなのに

[nao @yamap]

Qwen3.8 Flash Nextが最も27bより変わったと感じるのは最初の返事(TTFT)が速い点。簡単な会話程度なら即返ってきてこんにちはの返事の仕方で悩んだりしない。エージェントタスクではしっかり考えてる。会話の性格も27bの上からの頑固者より良さげ。ライセンスキツめだけど128g勢はこれに決まり感ある

[nao @yamap]

Qwen3.8 Flash Next試してみた。unslothさんのQ4_K_XLとllama.cppのpr版。レビュータスクさせたところ、速度pp200-100tps/tg20-10tps位。品質はかなり高めでds4より良い成績。クラウドのミドルクラス並。推論中gpu75%位なのはngramの効果なのかな。雑学知識の崩れも少ない。今の所27bより良い感じ

[nao @yamap]

https://t.co/OFxAIeFgx2をnvidiaが買収とか。ここの公開モデルのlagunaは結構賢くて良い感じなのでオープン戦略が推進されそうで楽しみ増えた