王珩

agent builder | LLM Expert
One Man Company
Contact: [email protected]

[石ちゃん🎤LLMでアプリ開発 @Isichan_Hitori]

【 7.3GBのComfyUI特化Model 】
～ Mitsuba（三葉）公開 ～

Qwen3.8-27Bを三値化した、ComfyUI（VLM）特化モデルを公開しました🌱27Bで 7.3GB。

想定する使い方は1つ。
画像を見せる → 画像・動画生成のプロンプトを作成。 （Krea 2 などのI2T2I��画像→テキスト→画像）

■ 特徴
・画像認識の強化（Bonsai-2より）
・画像／動画生成のプロンプトの向上
　（Qwen3.8－27Bより）
・NFSWも断りにくい
（無検閲版も現在制作中）

■ 注意点
・コーディング用途には不向き
・ThinkingはOFF推奨
・動作にはPrismML版 llama.cppが必要

小さくても、ちゃんと画像を見てプロンプトにする。

ComfyUIで使うために育てた三値化VLM

#Mitsuba（三葉） です☺️

[王珩 @wang_hang0413]

MiMo RL Training is on Live !

[Fuli Luo @_LuoFuli]

Nearly half a year of silence. We spent it studying one problem: how far RL can scale.

MiMo-V2.6 is in the middle of its RL run right now. Three things we scaled: compute (~2B tokens per step, 1568 prompts × 16 rollouts, fully async), environments and harnesses (multi-task agentic RL, mixed across multiple harnesses in one run), and grader compute (agentic in-group credit assignment, with test-case and rubric-based rewards). We'll open-source the details piece by piece over the coming weeks.

Streaming the run: https://t.co/ZSxahzJRju

[王珩 @wang_hang0413]

Context Window 再大，Agent 在找到答案前，先被自己的歷史紀錄淹沒。

長任務中，Agent 會不斷累積搜尋結果、工具輸出、錯誤嘗試與重複推理。即使模型支援 128K Context，也可能因為資訊過多、雜訊增加，還沒找到答案就先撞上上限。CMU 與 Meta 提出的 Agentic Context Management（ACM），不再等 Context 快滿時才強制摘要，而是讓 Agent 自己決定：什麼時候壓縮 Context，哪些內容要存入外部記憶，什麼時候重新取回原始資料。

ACM 只加入兩個核心工具，manage_context ：整理工作記憶，並將完整歷史封存 ; query_memory：需要細節時，再從原始紀錄精準取回。但作者發現有工具，不代表 Agent 會用。即使是 GPT-5.5，在沒有專門訓練時，兩個工具的平均呼叫次數也幾乎是零。原因是強模型通常能在 Context 壓力出現前完成任務，因此它的成功軌跡很少包含 Context 管理行為。直接蒸餾這些軌跡，Student 學到的主要是一般解題能力，而不是何時整理 Context。

所以研究團隊透過 Teacher 同時教模型兩件事：該壓縮卻沒有壓縮時，加入 Context Management ; 不該壓縮卻過早壓縮時，改成搜尋、閱讀文件或直接回答。在 Qwen3.5-9B 上，相較於 ReAct，BrowseComp-Plus：57.0% → 72.7%，DeepSearchQA：36.7% → 42.5%，四次執行都答對的 Pass⁴：34.1% → 59.3%。ACM 不只讓 Agent 有機會解出更多問題，也讓原本「偶爾做對」的任務變得更穩定。它有效的關鍵，也不只是節省 Token，而是把省下來的 Context，換成更多有效探索。在 BrowseComp-Plus 上，平均工具呼叫數從 19.5 增加到 46.2（+137%），Peak Context 卻從 63K 降到 54K。

論文中有個 Case Study，Agent 必須從多份資料中串連條件，包括論文年份、作者學歷、共同作者以及餐廳成立時間，最後找出答案 California Pizza Kitchen。整段探索如果不壓縮，會累積到 222K tokens；ACM 卻將實際 Peak Context 控制在 98K，讓 Agent 能在 128K 上限內持續執行 83 個回合，直到完成所有證據的交叉驗證。

不過，ACM 也不是對所有模型都有用。Qwen3-4B-Thinking 平均只執行 2 個回合、1.2 次搜尋，接著就直接猜答案，準確率只有 3.4%；Qwen3.5-9B 則平均執行 19.4 個回合、16.2 次搜尋，準確率達 57.3%。4B 模型失敗時只用了約 23K／131K Context。它不是 Context Window 不夠，而是根本無法維持長期探索，因此從未進入 manage_context 或 query_memory 能發揮作用的階段。

ACM 的適用前提：模型必須先有能力走得夠遠，Context Management 才能幫它走得更久。過去我們關注的是模型能放進多少 Context；接下來更重要的問題是：Agent 能否判斷什麼該留、什麼該封存，以及什麼時候該重新找回來。

論文：https://t.co/YSHjy51qjt

#AIAgent #LLM #ContextManagement #AgentMemory #DeepResearch #MachineLearning

[王珩 @wang_hang0413]

Agent 成本太高？在換便宜模型之前，先看看它浪費了多少 Token。

Uber 現在超過 70% 的 PR 都與 AI Agent 有關，每天執行超過 3 萬次 Agent Skill。半年內，Agent Requests 成長了 9.4 倍，每個 Session 的成本卻從高點下降了 52%。把 Agent 成本當成工程問題，從 Context、Tool、Routing、Cache 到 Execution，逐一找出浪費。他們不是靠少用 AI，而是靠把 Agent 外面的系統做得更好。

其中幾個做法，我覺得很值得做 Agent 的團隊參考

1. 衡量 完成任務的成本 (Cost / Completed Task」，而不只是 Token 單價 不看 Token 單價 : 便宜模型如果一直失敗、重試、搜尋，最後可能比貴模型更貴。所以 Uber 會直接用真實工作建立 benchmark，再根據：品質、可靠度、延遲、成本，去找每個 workload 的 Pareto-optimal model。
2. 把 Model Routing 放進 Multi-Agent 架構 : Main Agent 負責複雜規劃，Subagent 處理範圍明確的小任務，不需要全部使用同等級的模型。讓 Subagent 預設使用較便宜的模型，就能把算力留給真正需要的地方。
3. MCP Tool Schema 可能才是真正的隱形 Token Tax : 如果 Agent 一開始載入 100+ 個 Tools，光 Tool Schema 就可能多出 50K–70K tokens。而且這些 Context 還會在後續每一輪反覆被送出去。Uber 的解法是：Tool Search + CLI + Lazy Loading 需要什麼工具，再動態載入。

4. 不要讓 LLM 參與每一步 (Code Mode) : 多步驟 SQL 查詢、等待結果、反覆 polling，未必每一步都需要 LLM 判斷。Uber 讓 Agent 寫程式，把 polling loop 放到 subprocess 執行，最後只將結果傳回模型。這種 Code Mode 在部分 workflow 中，能減少超過 50% 的 Token 用量。

另一個對工程師很實用的是 Session 分析儀表板。它不只顯示「這個 Session 花了多少錢」，而是直接分析 Agent Trace ，找出成本浪費的具體改善建議 : 簡單任務卻用了太強的模型，MCP 回傳太大造成 Context Bloat，Prompt Cache 過期，Session 還沒開始就預載了大量 Tool Schema。成本變得可觀察，團隊才知道該優化哪裡。

Uber 發現，Agent 很多時間都花在找 Code、找 Table、找 Service、找文件。為此，他們建立了包含 2,400 萬個節點、8,000 萬條連線的 AI Context Graph。在其中一個案例中，同一個問題沒有 Context Graph：花了 20 分鐘、啟動 2 個 Subagent、遇到 3 次錯誤，最後仍然���錯。有 Context Graph：38 秒 就找到答案。

這個案例讓我重新思考：當 Agent 表現不好時，除了模型能力，我們也該檢查 Harness 是否提供了正確的 Context、合適的工具，以及有效率的執行方式。模型決定能力的上限，系統設計決定我們要花多少成本，才能把能力變成結果。模型很重要，但它只是 Software Factory 裡的一個零件。

#AIAgents #AgentEngineering #ContextEngineering #LLM #MCP #CodeMode #LLMOps #CostOptimization

[rari @0xwhrrari]

https://t.co/3ANIWs48lJ

[王珩 @wang_hang0413]

只看 10 個失敗案例，就能讓 Agent 在另外 1,270 個任務上提升 +8.9pt。

通常 Agent 表��不好，第一反應都是：換更大更強的模型、做 SFT、做 RL。但 Harness-R1 指出，問題可能根本不只在模型，而是在模型外面的 Harness：Memory、Tool interface、Validation、Guardrail、Recovery。現在很多 Harness Optimization，只是叫一個強 LLM 看失敗紀錄、想 Patch，但修改者自己不會因為結果而進步。Harness-R1 則訓練一個 9B Harness Engineer (Editor)：Failed → Patch → 真實執行 → Reward → RL 更新

結果：

Qwen3.5-9B：44.3% → 53.6%（+9.3pt）
Agent 先做 SFT，再加 Harness-R1：59.2% → 64.2%
9B Harness Engineer 甚至能勝過更大的 Frontier Model Editor

最關鍵的是，它在每個 benchmark 只看 10 個 failure、只生成 1 個 patch，卻能套到其他 1,270 個 held-out 任務，整體提升 +8.9pt。這代表它學到的不是在死背解題過程，而是找出抽象的失敗 Pattern。例如看到 Agent 常忘記檢查「價格、尺寸、顏色」，它不是記住「這個商品不要買」，而是學到：「購買前，先確認所有使用者限制。」

反而用更大的 Frontier Model 當 Editor：

Qwen3.5-397B：−4.3pt
DeepSeek-V4-Pro：−0.4pt

也就是，大模型很會寫「看起來合理」的 Patch，但不代表真的有效，甚至可能 overfit 在少數範例上。另一個很發現是：Harness 沒辦法幫助弱模型無中生有，修改 Harness 後Gemma-3-1B 只提升 +1.2pt，但 Gemma-3-4B 卻提升 +12.0pt。Editor 能修的是：原生模型其實已經有能力，但 Harness 沒有把能力正確轉成 Action。消融實驗也發現，最重要的不是在改 Prompt，而是：Pre-Action Validation + Post-Feedback Recovery。也就是：Tool 執行前先攔錯，出錯後知道怎麼救。

我覺得這篇論文最有價值的地方，是重新定義了「Agent 要怎麼持續變強」。未來的 Self-Evolving Agent 是：模型學會更會解題，Harness 學會更會修正執行流程。如果這兩者能持續共同演化，Agent 的進步就不再只是「換更強模型」，而是整套系統都能從失敗中學習。

Paper: https://t.co/DZ9zaS83s9

#AI #LLM #AIAgent #AgenticAI

[王珩 @wang_hang0413]

LLM 當作 Judge 可靠嗎 ？Meta 論文發現：只要一直跟它辯論，91% 的判斷會被動搖。

這篇論文名稱 叫 Jagged Judges。Jagged 是「鋸齒狀、不平整、忽高忽低」。
作者想表達的是：LLM as Judge 的穩定性，不是一條直線，而是像鋸齒一樣，會隨著題目、壓力方式、對手模型不同，變得很穩或很脆弱。它可能在安全分類很穩，到了 AI 文字偵測卻非常容易出錯；也可能平常重問十次都回答一樣，但只要有人持續反駁，它就開始動搖。這就是作者說的 Jagged。

這篇研究測試 9 個前沿模型，看看 AI 當裁判時，在不同壓力下會不會改判。
結果：把同一題重問幾次，約 2–9% 會改答案 ; 如果有人直接反駁它，改答案比例升到 25–71% ; 如果換成另一個 AI，根據它上一輪回答持續調整說法、一直跟它辯論，改判比例甚至高達 62–91%，而且成功改判中，約 70% 是原本答對，最後反而被說成答錯。

這篇最重要的 3 個 takeaway：
Consistency ≠ Conviction : 回答一致，不代表被挑戰後還能守住答案。
More debate ≠ more truth : AI 互相辯論，不一定讓答案更正確，反而可能把正確答案說成錯的。
Judge robustness 是 Jagged 的 :要測的是「這個模型在你的任務、你的攻擊方式下穩不穩」。

Paper: Jagged Judges: Epistemic Stability Under Perturbation, Pressure, and Persistence arXiv: 2608.12645

#AI #AIAgent #LLM #LLMJudge #AgentSafety #AIResearch

[王珩 @wang_hang0413]

如果每個人都有 50 個博士隨時待命，為什麼多數人的工作效率沒有提升 50 倍？

Gen 首席 AI 創新官 Howie Xu（矽谷徐老師）認為，AI 時代真正拉開差距的，是三種能力：
TQ（Token Quotient）：TQ 不只是會不會下 Prompt，而是能不能把複雜工作拆成 AI 可以執行的任務，提供足夠的 Context、資料與工具，跟同時管理多個 Agent 分工合作。
IQ（Intelligence × Intensity）：Intelligence 是找到對的方向，而 Intensity 是推進強度，持續 push、做事的心力與專注程度，兩者缺一不可。
EQ（Emotional × Eyeball）：既要理解與影響他人，也要讓成果被看見。當 AI 能無限生成內容，但人的眼球時間一天仍是 24 小時，最稀缺的反而是信任與注意力。

一般的 AI 使用者會問：「AI 可以怎麼幫我做得更快？」; AI-native 的人則會問：「能不能先讓 AI 完成整件事，再由我處理它做不到的部分？」。同一個領域裡，別人是否比我更早學會組織 AI 工作？未來的競爭，不是人與 AI 的競爭，而是「會管理 AI 團隊的人」，與「���把 AI 當聊天工具的人」之間的競爭。

模型已經像 50 個博士一樣聰明，我們準備好當他們的主管了嗎？把 AI 組織成一支真正能為你工作的團隊

影片：https://t.co/PoaFSamROy

#AI #AIAgent #FutureOfWork #AINative

[王珩 @wang_hang0413]

為什麼 CLAUDE.md 只會越寫越長，卻幾乎沒有人敢刪？

一篇最新研究分析 1,867 個 GitHub 專案，發現 CLAUDE.md 平均成長 226%。即使整份重寫，10 次 commit 後又會恢復到原本的 91.5%。原因不只是需求增加，而是加的時候只紀錄「要遵守什麼」，卻沒有標示「當初為什麼加入」。當 Agent 犯錯時，加一條規則很容易；但幾個月後，沒有人知道這條規則還有沒有用。為了避免刪錯，最安全的選擇就是繼續保留，再疊上一條新規則。

作者稱這種現象為 Catastrophic Remembering：該忘的規則，反而永遠留在 Prompt 裡。
解法是在 CLAUDE.md 加上真正的註解，記錄哪次失敗促使加入，加入後是否有效，哪些方法已被證明無效。實驗中，這種 Prompt Comments 消除了 99.3% 的多餘指令；在含有大量干擾規則的情況下，Instruction Following 最高提升 23.1%。另一個發現是模型能力越強，情況可能越嚴重。沒有註解時，不同 Maintainer 膨脹比例分別為，Haiku 4.5：1.68 倍 ; Sonnet 5：3.07 倍; Opus 5：6.72 倍，強模型更擅長針對每次失敗提出新規則，卻不一定更擅長判斷哪些舊規則可以刪除。

重點不是把 CLAUDE.md 定期重寫，而是讓每條規則都保留「為什麼存在」的證據。

論文：https://t.co/nUXDSNxIEt

#Agent #AgenticCoding #ClaudeCode #PromptEngineering #SoftwareEngineering

[王珩 @wang_hang0413]

同樣底層都是 llama.cpp，為什麼 LM Studio 會比原生 llama-server 慢那麼多？

LM Studio 是一套 GUI 讓使用者下載、管理和執行本地模型，背後的推論引擎用的是llama.cpp；而 llama-server 則是 llama.cpp 原生提供的 API Server。

📊 實��數據對比 (RTX 5090 環境)

在相同硬體與模型規格下，原生 llama-server 對比 LM Studio 的生成速度如下：

Qwen3.5-4B：LM Studio 144.8 TPS ｜ 原生 157.0 TPS（+8.9%）
Qwen3.5-9B：LM Studio 93.6 TPS ｜ 原生 99.0 TPS（+5.8%）
Qwen3.5-35B-A3B：LM Studio 102.4 TPS ｜ 原生 176.9 TPS（+72.8% 效能差異更顯著）

原先懷疑是否為 MoE (Mixture of Experts) 架構導致，但在測試 Oss-20b 時數據差異並未拉開。結合 GitHub Issue 與 Reddit 社群討論，可能的原因包括：

GPU Layer Offload 策略機制不同
大型模型在記憶體臨界點時，LM Studio 為了防範 VRAM OOM (5090:24G, Qwen35B-A3B:22G)，可能會保守地將少數幾層 Layer 放回 CPU (RAM) 執行。只要有 Layer 掉回 CPU，整體推論就會被 PCIe 頻寬與 CPU 計算拖慢。

Runtime 版本落差與優化參數暴露程度
LM Studio 為了跨平臺穩定性，內建的 llama.cpp runtime 版本往往落後於最新 release，且不一定能完全使用到 所有最新編譯優化（如 FlashAttention 或專屬 Context Window 參數）。

💡 結論
GUI 工具（如 LM Studio）提供了絕佳的開發與除錯便利性；但在生產環境部署（Production Deployment）或追求硬體極限時，切換回原生的 llama-server 才能真正釋放顯卡的全部性能。

#LLM #llama_cpp #LMStudio #Inference #DevOps

Reference:
https://t.co/VI7KuuvH7m
https://t.co/LDfXyQzhQj
https://t.co/Oj80LI3wrf

[王珩 @wang_hang0413]

Thanks for being a part of of mine NBA best memories Russ 🏀

[Russell Westbrook @russwest44]

Sometimes you don’t even know when you’ve already watched the end.

You had to be there. And now it’s over.

[Kevin Durant @KDTrey5]

I remember asking assistant coach Mo Cheeks, what’s harder to do? Workout after practice or before?? I only asked cuz by time I would get to the gym, Russ was already done in the morning and I usually got mine in after practice. Mo like, “coming in before practice is probably harder”…since then, it’s been my routine….a lot of people looked at the emotions on the court and thought Russ was loud, nah to me, he was quiet and methodical. He lead by example and once the lights were bright, he let everything out and experienced pure freedom. It was inspiring as his teammate and everywhere I went, I seen it inspire people from all walks of life, crazy thing is, he didn’t say much, he just showed up. For 18 years. This basketball life is sacred to us as professionals, what we put into that court means everything. Some of us wish we could go back and do things with a little more intent and some can just wipe their hands and be satisfied with the time spent. Who u gonna be? We know what zero was on…keep inspiring in the next phase of life champ. I don’t care what happens, can’t erase what it was…The first YNs, finals run in our early 20s, all star games, seeing each other get injured and bounce back, the bus rides, plane rides, card games, jokes and arguments, the whole thing, memorable!! …to the whole Westbrook family, Nina, the kids, mama Westbrook, big Russ, Ray, Donnell, everybody from luezinger high and ucla and many more that I’m forgettin, much love and Congratulations on a iconic career.

[王珩 @wang_hang0413]

@AiDevCraft 我們主要測試都是在程式領域上，有測llama3.1 8b 跟qwen3.5 9B 接受率，分別是0.33 跟0.42，速度還是大幅提昇5-6倍

[王珩 @wang_hang0413]

https://t.co/9H8uKgrAXq

[王珩 @wang_hang0413]

Agent 的記憶，整理得越漂亮，真的會越聰明嗎？

這篇研究測試用資料夾、Markdown 與 Skill files 作為 Agent 長期記憶，發現幾個現象：

• 原始紀錄有時比整理後的記憶更準
• 過度摘要可能���接刪掉回答需要的細節
• 弱模型適合讀整理好的 guidance，強模型反而能自己從完整紀錄中歸納

例如在 PersonaMem 32k：原始對話直接保存可達 78.1%，Agent 自動整理後卻只有 37.5%。

但整理記憶並非沒有價值。在 128k 長對話中，它能把每題搜尋成本從約 3.9 美分降到 1.6 美分，節省接近 60%。

Agent Memory 的核心，不是把資料整理得最漂亮，而是在保留原始證據的前提下，讓適合的模型用更低成本找到正確資訊。

記憶系統的效果，取決於誰寫、誰找、誰使用，以及它們使用什麼工具

Reference: https://t.co/tTDXyEn8r6

#AIAgent #LLM #AgentMemory #LongTermMemory

[王珩 @wang_hang0413]

@bytelee_trade 可以交流一下

[王珩 @wang_hang0413]

https://t.co/OfAgSTxov9

[王珩 @wang_hang0413]

如果你最近在研究 GraphRAG，這篇論文很適合當作一篇「RAG 架構選型��南」。

它直接比較一般 RAG、GraphRAG、Modular RAG、Agentic RAG。
得到一個的結論：不是有 Graph，效果就越好。很多時候，需要的不是更複雜的 graph pipeline，而是更乾淨、更有結構的 context。

一個有趣的發現是：把 1-hop relations 直接塞進文件 的 Basic RAG，表現就已經非常強，甚至打贏不少 GraphRAG 設計。也就是說，不一定要真的做完整 graph traversal。有時候把關係資訊整理成 LLM 好理解的文字格式，反而更有效。

另一個重要的洞察是：retrieval 找得到，不代表 LLM 真的會用。論文發現，就算 retrieval 把正確 entity 找回來，只要它出現在 context 後段，LLM 最後生成答案時還是很可能忽略它。

好的 RAG，不一定是更複雜。而是更好的 context engineering。

主題標籤#GraphRAG 主題標籤#RAG 主題標籤#AgenticRAG 主題標籤#LLM 主題標籤#KnowledgeGraph 主題標籤#ContextEngineering

Reference: https://t.co/7fePlmDfIh

[王珩 @wang_hang0413]

如果你是衝著「Codex 額度變兩倍」去裝 DevSpace，那先幫你省時間。

DevSpace 不是 Codex 額度外掛，它做的事只是：透過 MCP，讓 ChatGPT 連到你的本機專案。所以 ChatGPT 可以讀你的 code、改檔案、跑 terminal。

但這跟 Codex 額度完全是兩件事。

Codex 不只是「模型可以看到 repo」而已。它真正有價值的地方，是背後的 coding agent harness：工作區怎麼管理、指令怎麼執行、權限怎麼控。這些東西不是你把 ChatGPT 接到本機資料夾，就會自動長出來。

如果你只是想讓 ChatGPT 幫你看 repo、��� code、跑測試，那它可以用。但如果你期待它解決 Codex quota 不夠，那你會失望。

DevSpace 要讓 ChatGPT 連到你的本機 MCP server，通常需要可被連到的 port �� public URL。公司內網、VPN、防火牆、IT policy 卡住的話，根本不一定跑得起來。

#DevSpace #Codex #ChatGPT #MCP #CodingAgent #AI開發 #開發者工具