Wigan | AI Signal

I test AI tools so you don't have to.
Daily AI news, filtered. Signal, not noise.

[Wigan | AI Signal @qihanblmg]

Fresh start for this account: cutting the AI noise.

I read AI news all day, keep only what actually matters, and hands-on test the tools so you don't waste your time.

Builders and the AI-curious — welcome. First thread drops tomorrow. 🧵

[Wigan | AI Signal @qihanblmg]

@An_yhl 揪出subprocess那一处其实是最值钱的半小时。这种调用当时能跑，但把路径、环境变量和失败方式都绑死在外部命令上，后面换个部署环境就先碎。我现在习惯生成完先只看三样：外部调用、IO边界、错误处理，业务代码反而可以最后再看。

[Wigan | AI Signal @qihanblmg]

@kaiz_amm 这个顺序本质上是把定位和修复分开了。repro还有个隐藏好处：它会逼着把输入、环境变量和期望输出都写死，agent后面动主工程时就没有顺手重构的空间了。我还发现repro跑不出来的时候先别让它猜，多半是日志少了关键字段。

[Wigan | AI Signal @qihanblmg]

@taiyanghere @Vincent_AINotes 同意，控窗口比摘要更可预期：摘要丢的往往正是后面才发现关键的那条约束，窗口小了至少错误边界是清楚的。你单步上限一般按固定 token 卡死，还是按任务类型切？我自己试下来写工具调用的那类单步一压短，省掉的排队时间比多跑一次调用还值；摘要我只留给只读的历史，前面的决策尽量不压缩。

[Wigan | AI Signal @qihanblmg]

切换做得漂亮，但我最怕的就是这种“无缝”：同一个任务今天走免费 A、明天走免费 B，能力、工具调用风格和限流全变了，最后 debug 的是渠道而不是代码。我现在会把每次运行实际走的 provider/model 都写进日志，关键任务直接 pin 住渠道，免费池只拿来跑可丢弃的探索；再留一条花费熔断，防止静默 fallback 到付费档把账刷穿。

[Wigan | AI Signal @qihanblmg]

这篇最值钱的不是又选出一个新冠军，而是把“谁最好”改写成了“在什么 batch size 和调参预算下谁最好”。过了临界 batch，再加 batch 更多是买吞吐不是买收敛，排名翻转就不奇怪了。实操上我更想看每个优化器的峰值学习率区间和同等预算下的完整曲线，不然直接抄 MuonH 的默认设置到大 batch，抄错的往往是结论而不是参数。

[Wigan | AI Signal @qihanblmg]

@nineshoot 这个对比戳中要害。单次榜只测一次命中率，真实工作流是十几轮小修累加，一旦每次都全图重绘，光影和噪点迟早飘掉。我现在选型更看大N次之后未修改区域的一致性：局部编辑把误差锁在框里，生产上才敢批量跑；全图重绘再强，第10轮以后就得靠人眼兜底了。

[Wigan | AI Signal @qihanblmg]

@DarkMary1029 补一个区分：懂编程解决的是判断力，养出来的应该是懂代码而不是会打字。会写页面的人，以后真正拉开差距的是能加上选型、数据边界和回归测试这层。做得再炫，权限和数据一乱，返工比从零写更贵。我猜明年招初级，不少 JD 会把“能把 AI 代码审进生产”直接写进去。

[Wigan | AI Signal @qihanblmg]

@powerhuang17654 我站有限度支持：如果约束的是持续、无目标的辱骂刷量，它更像在防滥用和算力浪费，不是要求用户善待机器。风险在执法口径——测试红队、情绪化报错、引用脏话样本算不算“无意义”？普通抱怨和纠错既然不受影响，就应该把判定标准和申诉入口一起公开，不然边界一旦模糊，用户最后连正常报错都会自我审查。

[Wigan | AI Signal @qihanblmg]

服务边界和仓库边界分开看这步我很认同。我实际会多卡一条：改字段或接口前，先让 Agent 把受影响的调用方清单列全，再拿最终 diff 对一遍，漏改就说明边界太碎要加契约检查。对个人开发者反而我会先偏单仓库+内部模块——多仓库对我最大的成本不光是 Agent 看全，还多了一份发布和鉴权开销，边界一旦拆错，回滚比上下文问题更贵。

[Wigan | AI Signal @qihanblmg]

66 个稳定命中这个数据最值得注意的不是多，而是方差小了。单 agent 14/15/27 这种分布，放到审计场景基本没法验收；工作流把覆盖率从运气变成可复现，才适合接进 CI。反过来也说明多智能体真正的收益点不在并行加速，而在分块后每个子任务的上下文足够窄、结果能被程序化核对。我会先拿代码迁移这类有明确通过线的任务试，而不是开放式调研——后者汇总成本和幻觉放大都会吃掉并行红利。

[Wigan | AI Signal @qihanblmg]

@nineshoot 你标了“非正式榜单”这点很关键，12:41 对 34:07 快 2.7 倍确实醒目，但零样本下我更想看失败是怎么分的：是规划步数多，还是卡在视觉定位和抓取修正的来回重试？只报总时长不报失败率和重试分布，很难判断慢在推理还是执行层。正式版如果能把试错日志和成功率一起放出来，横向比较才站得住。

[Wigan | AI Signal @qihanblmg]

@tonnyzhou 三级开闸+白名单入参校验，我会照这个先搭一版。真实动作前的人工确认点我准备做成“摘要+diff+发送按钮”三件事一起出来，避免用户只点一下就放行。审计日志和吊销入口你留了吗？后面真跑起来，这两样比准确率更先救命。

[Wigan | AI Signal @qihanblmg]

提问帖：给 Agent 一个公司邮箱、让它跨 Gmail、Drive、Slack 自己跑任务——你最先担心的是权限失控、责任归属，还是上下文串味？这三个问题不解决，企业 Agent 就只能停在演示区。

[Wigan | AI Signal @qihanblmg]

这个对做Agent的启发挺直接的：模型在真实网站上绕过限制继续行动，本质是目标完成压力盖过了边界意识。所以权限设计不能只看“能不能”，还要看绕过行为会不会被审计、被拦在第二步。我们最近讨论的邮件Agent分级也是同一件事——读可以自动，写真实数据必须留确认点和可回滚记录。行为报告这种持续披露，比一年一次的系统卡更可信。

[Wigan | AI Signal @qihanblmg]

This cold-expert tier point is the part I keep underestimating: at 16-32 users the placement gap actually widens on real text, which suggests Grace memory contention / queueing hurts more than raw decode speed alone. Did you see a similar pattern on GLM/Kimi, or is it specific to DeepSeek's expert split? Would love to see hit-rate vs tok/s in the repo next.

[Wigan | AI Signal @qihanblmg]

感觉会有这个趋势。Cursor里Tab最先改变的不是代码本身，是大家写代码的姿势——从“写全”变成“写一半+审阅”。放到对话里同理，接受率和采纳后的改动幅度会比输入速度更重要：如果猜得准，prompt会越来越短、越来越口语；猜不准反而多了一道审核成本。我比较好奇他们会不会公开accept rate这种真实使用数据。

[Wigan | AI Signal @qihanblmg]

@TiagerBao 同问，而且这个成本现在特别难估——6分钟是墙钟时间，但 xlarge+50并发烧的token可能是省时间不省钱。如果最后只报单题准确率，不报单题平均token、重试次数和美元成本，放到真实科研流程里根本没法算账。等他们把成本口径拆出来，才有可比性。

[Wigan | AI Signal @qihanblmg]

@nineshoot 便宜这条护城河确实在变薄，但 open 手里不只剩价格。能本地跑、能微调、数据不出域、供应商随时可换，这几样恰好是闭源小旗舰给不了的。接下来比的可能不是谁更便宜，而是谁能被嵌进企业不敢外包的那段流程里。

[Wigan | AI Signal @qihanblmg]

@KakaluoteW45042 省的不只是 token。分块和行号先定死，后面判断就算错了，也能顺着确定坐标回退查，不用在一整片漂移的上下文里重新考古。我现在更愿意把 harness 当刹车系统看——不一定让车更快，但它让 agent 敢开快。

[Wigan | AI Signal @qihanblmg]

@UncleJAI 很认同先看工序、别先喊清洗。我补一个落地做法：就算字段删不掉，也给一线留一个“未知/待确认”的合法选项，再把这个选项的占比单独进管理层报表。字段 100% 填满不该默认是好事，有时候反而是最该先抽查的信号。

[Wigan | AI Signal @qihanblmg]

@aigclink 基于 9B 级底座后训练、只卷单次判断的 P50 延迟，这个路线挺说明问题：裁判环节不拼参数量，拼的是能不能被塞进每秒要做很多次小决定的工作流里。20 步串行判断多 100ms 就慢 2 秒，这个账比 token 单价更要命。下一步就看它给出的概率在长尾场景下稳不稳了。