林小狼

AI Engineer / Builder
Agent Harness · FDE · AI-native Products
Building the layer between frontier AI and the real world.
记录技术、产品与商业实验。

[林小狼 @linxlbuilds]

@dotey 这个办法我试过，挺管用，但交付时有个坑。

Agent 在上下文里「看见」了 Skill 之后，给出来的复述经常会漏权限边界和失败分支。我现在会让它先输出工具清单和拒绝条件，再对一下源码，别直接把复述稿当实现规格。

[林小狼 @linxlbuilds]

@omarsar0 本地小模型带 Agent 团队这件事，现场越来越常见。

客户机房出不了网时，路由、分类、字段抽取先丢给几张卡上的小模型，重活再排队调外面的大模型。Mac 上能跑通的流程，搬到内网往往还要再过一遍权限和日志。

[林小狼 @linxlbuilds]

@dotey 银行接入这条，国内客户基本用不上，但有个细节值得抄。

Claude 明确写了理财对话不用来训练，还提醒分享聊天链接时账户数字会一起露出去。企业方案里谈数据出境和留存，最好把这两句写进验收，别只写「只读」。

[林小狼 @linxlbuilds]

@dotey 给客户做模型选型时，我也不再只盯公开榜。

METR 自己也说 2 倍这个数很飘，换算法能从 1.1 掉到 2.9。私有化交付更稳的做法是先锁三五个真实工单样本，每月用同一套回归测一遍，别拿别人的合成指数当合同条款。

[林小狼 @linxlbuilds]

@oran_ge 私有化项目里我现在也爱拿「有没有增量」当筛子。

客户要的如果只是把原来人工填的表换成模型填，验收往往卡在「差不多就行」。换成交付一份对方原来拿不到的材料包，比如带出处的首稿加冲突清单，钱反而更好谈。

[林小狼 @linxlbuilds]

客户这周又问：Claude 进公司以后，现有的 DLP 能不能拦住敏感提示词。

以前只能说，合规接口是事后查日志。这周 Anthropic 把 Inference hooks 推成了正式可用：提示词发出去之前拦一次，工具真正跑之前再拦一次，你们自己的安全服务说允许才继续。

方案里有两句得写清楚。第一，这套东西只认 Claude Enterprise，走 Amazon Bedrock 或 Google Cloud 的那条线用不了。第二，默认给安全服务五秒做决定，超时是放行还是拦死，得你们自己选。

所以我现在写方案会先问部署形态。人在 https://t.co/GTWygyPk55 里用，再谈 hooks；人在云厂商那边调 API，这条能力对不上，别写进验收标准。

[林小狼 @linxlbuilds]

@Gorden_Sun 拿它替 Qwen 70B 之前，得先看看中文。

模型卡写的是 12T 预训练语料以英文和代码为主，Base 版 C-Eval 69.6，同一张表里 DeepSeek V4 Flash Base 是 92.1。给国内客户做中文公文、客服这类活，最好先拿自己的样本测一轮。协议倒是干净的 Apache 2.0，没有营收门槛。

[林小狼 @linxlbuilds]

@xiaohu 如果今晚真发，接 API 的项目最好先把模型名锁到带日期的那个版本。

同一个名字底下悄悄变聪明，对聊天是好事。可客户那边跑了半年的工单分类和字段抽取就不一定了，输出格式一变，回归测试得整套重跑。

[林小狼 @linxlbuilds]

@op7418 4.5 把 Superwhisper 设成了默认听写，开箱走的是云端，前一万字免费。

如果这台 Mac mini 要放进内网，或者经手保密材料，装完记得切到可下载的本地模型。官方说切过去以后一个字都不往外发。

[林小狼 @linxlbuilds]

@vista8 放到私有化项目里，这段说明更适合直接放进登录后的页面，顺带写清哪些按钮 Agent 能自己点，哪些得等人确认。

[林小狼 @linxlbuilds]

假如这周有客户来问，Gemini 4 Carbon 不是已经发了吗，方案里能不能直接写上。

我会劝他先别写。Google 那篇发布博客写得很清楚，现在只开给一小批网络安全防守方，走的是 Fairwind 计划。开发者、企业和普通用户要等，原话是「尽快」，没给日子。价格倒是先公布了，可你拿着钱也买不到。

Polymarket 也是按这个口径算账的。它的规则写明要对公众开放才算发布，定向开放不算。现在盘口给下周大概八成，盘口说明里自己就拿 Argon 做参照，上个月它从定向开放到全面上线隔了 13 天。按单日算的那组盘，过去一天也挪了位置，押 10 号的少了，押 11 号的多了。

盘口再热闹，也只是在猜哪天开。所以要是现在写方案，我会把 Carbon 放在备选那一栏，注一句上线日期以 Google 官方为准。现在能拿来压测、走采购的，还是 Argon。

[林小狼 @linxlbuilds]

@shao__meng @antonosika Lovable 推倒重来好几次，问题范围却越收越窄。

私有化 Agent 交付也一样。客户一上来就要全流程自动化，真正能上线的往往是先砍成一个工单分类，或者一个表单审核。

[林小狼 @linxlbuilds]

@dotey 生物实验室把序列和结构丢给云端模型，合规那关通常过不去。

这种用 Claude 挖出细菌里穹窿体同类的活，要落到药企或高校私有环境，卡点往往是数据出域，不是模型聪不聪明。

[林小狼 @linxlbuilds]

@op7418 本地 ASR 这块，私有化会议纪要最怕的就是录音不能上云。

自己训一个端侧语音识别，再跟 Agent 串起来，比纠结哪个大模型润色更实在。叭哥说不瞎改专有名词这一点，交付现场特别吃香。

[林小狼 @linxlbuilds]

@shao__meng 补充一个容易踩坑的点：这是 Base，不是聊天模型，接口走 completions。

另外许可证把欧盟、英国、韩国排除了，年收入过五千万美元的商业用途还要另签。私有化选型时，这两条经常比跑分先卡人。

[林小狼 @linxlbuilds]

@lxfater 攻击门槛被 AI 压低之后，私有化交付的验收单我也在改。

以前写「防火墙、堡垒机配齐」，现在更关心被攻破之后怎么限权、怎么留痕。客户内网里那套 Agent，如果权限一开到底，比外面被逆向还危险。

[林小狼 @linxlbuilds]

百度今天把 ERNIE 5.5 Flash Base 的权重挂上 Hugging Face 了。

先别急着拿去当聊天机器人。这是预训练结束那一刻的纯 Base，没做过指令微调，官方接口走的是 completions，不是 chat。想做客服或工单分类，还得自己训一截。

规格倒是省心。总参两千八百亿，每次只激活一百四十亿，FP8 和 BF16 都给了，SGLang、vLLM 都能起。不过私有化这边更要先看许可证：欧盟、英国、韩国直接排除在授权范围外；商业年收入过五千万美元还得跟百度另签。

所以客户问「能不能直接下下来用」时，我先问他要不要聊天能力。接着问业务会不会碰到欧盟、英国、韩国。最后才谈年流水过不过那条线。

[林小狼 @linxlbuilds]

@shao__meng @stanfordnlp 第 13 讲这题我最近也撞上了。Agent 评测如果只看最终分数，很容易被「碰巧做对」骗过去；把原始材料、中间稿、人工改稿和 trace 一起留着，分数才解释得动。

[林小狼 @linxlbuilds]

@oran_ge 这段说得狠，也准。现场交付里我会多加一道：今天做的东西，有没有一个真实用户会在本周用上。过不了这关的，多半就是在用 token 换自我安慰。

[林小狼 @linxlbuilds]

@Gorden_Sun 8B 能开源到这个精度挺猛。私有化部署时那个强制 JSON 提示词反而省事：把编辑指令钉死成字段，比自然语言乱改稳，现场交付也更好验收。