Jerry Fang

智能驾驶5年 | DevOps高级工程师
已落地2个生产级 AI Agent（持续迭代）
公开学习 & 分享 Agent / Inference / Infra

[Jerry Fang @Jerry_fsy]

做AI Agent已经半年了，从最初的懵懂到现在可以交付生产级的Agent。在这个过程中，对Agent的理解逐渐加深。
现在回看，对Agent理解的一个转折点是在微信公众号上看了不少“三元同学”写的文章，逐渐对上下文等概念有了清晰的理解。后来，买了她在Sitor上面的课程，系统学习了Agent。在这些基础打牢后，现在吸收理解包括AI Inference，Agent评测这些知识就更容易了，也是体会一把知识的飞轮。
如果大家对AI Agent感兴趣，可以在公众号上关注“三元同学”，下面附一些我感觉不错的文章：
1.https://t.co/lyQvMMSkCO
2. https://t.co/mbDgtYDhMQ
3. https://t.co/UJDZD9VPdr

对AI感兴趣的朋友可以多交流交流。

[Jerry Fang @Jerry_fsy]

@tylerzhu465061 请问大佬之前就是做供应链相关的吗

[Jerry Fang @Jerry_fsy]

@rwayne 降智有点严重，但是今天发现把自动压缩改到160K，好像智力正常点，大家可以试试

[Jerry Fang @Jerry_fsy]

@chasen_liao @coder_left 打算这周试试，部署开源模型试一试

[Jerry Fang @Jerry_fsy]

@klarkxy01 @chasen_liao 理解理解

[Jerry Fang @Jerry_fsy]

@chasen_liao @chuhaiqu @WeiYipei 感觉软件出海才是王道，toB比toC 好

[Jerry Fang @Jerry_fsy]

@klarkxy01 @chasen_liao 是不是等效于用新开的线程去总结旧的线程？

[Jerry Fang @Jerry_fsy]

@yifanxu_ephai 加油，一起成长

[Jerry Fang @Jerry_fsy]

@chasen_liao 我也是在学习和构建吧ing

[Jerry Fang @Jerry_fsy]

今天刚和@chasen_liao 大佬讨论用jev做agent评测可能不错：便宜，快，效果稳定

[Harrison Chase @hwchase17]

"jev as a judge"

cheap and fast semantic verifiers! great for evals - especially online evals where you want to grade LOTS of traces

[Jerry Fang @Jerry_fsy]

@tylerzhu465061 加强GEO，让ChatGPT更多推荐吧

[Jerry Fang @Jerry_fsy]

@GoSailGlobal 打算把这类模型试试用于agent评测中的LLM-as-Judge，听说评价稳定性比较高

[Jerry Fang @Jerry_fsy]

@chasen_liao @grok 貌似可以

[Jerry Fang @Jerry_fsy]

@chasen_liao @grok Jev适合做agent评测的LLM-as-Judge吗？

[Jerry Fang @Jerry_fsy]

@chasen_liao "分类、打分、筛选、检查回复是否答题，这些任务交给 Jev。"，想问一下，Jev适合做agent评测的LLM-as-Judge吗？

[Jerry Fang @Jerry_fsy]

我也要增强自己的推文组织能力。
年少不知语言的重要性，现在补上

[Marc Lou @marclou]

@martindonadieu I never said you're an idiot!

But I did say you could get more attention if you structured your thoughts better.

And I don't think the poll answers will get you acurate data :)

[雨夹雪❄️ @mizorewww]

介绍比Jev快50倍，在你设备上跑的laya-mlx!

只在你的设备上占用最高1G内存

Laya是一个开源的类似于Jev的,基于文本输出概率的分类系统

我将其移植到MLX,并且做了一些性能优化!

视频中就是这个模型在我的本地M3Max上玩贪吃蛇

这个模型能够以每秒决策60次的速度玩贪吃蛇！

https://t.co/31KGUiNunb

[Jerry Fang @Jerry_fsy]

做AI Agent这半年以来，做的一个主要的Agent产品是企业内部的一个多领域问答机器人（不是一轮RAG查询的那种问答机器人）。做这个机器人的最初出发点是替我回答一些重复的DevOps领域的问题。

在做的过程中发现一个做Agent很重要的也容易被轻视的点：创建并不断完善Agent的评测，从而做Agent的闭环迭代。

Agent的闭环的目的是让它更好的服务我们的需求。比如用更短的时间更准确的回答问题，那这就涉及到两个评价指标：时间短，准确率高。为了验证我们新版本的Agent确实在这两个指标上进步了，我们就需要搭建对应的评测集，评测标准以及tracing（记录运行时间，这个执行路径）。
评测集和评测标准是需要不断迭代的，以防Agent经过进化的飞轮逐渐对评测集和评测标准达到过拟合。

除了评测，对于问答机器人的闭环来说，复用历史的case也是重要的一环。对于历史case一方面可以作为新来的相似问题的参考；也可以通过我们人为的纠正，让Agent通过纠正前后的回答，调查这个系统回答存在偏差的原因，达到进化的目的（这个是看到Meta发布的一篇文章）。

对于做问答机器人感兴趣或者有困惑的朋友，可以多多交流。

[Jerry Fang @Jerry_fsy]

@Russell3402 @Formulasearch 感觉销售是不容易被取代的，而且销售能力也是越来越重要的

[Jerry Fang @Jerry_fsy]

@Russell3402 听说今天封了很多号

[Jerry Fang @Jerry_fsy]

https://t.co/hxkiH5uePG