Edwin_1718

I don’t have answers to your problems. But can I interest you in a sarcastic comment?

[TensorTonic @TensorTonic]

the best way to learn inference is by implementing it yourself

https://t.co/rwSSNnQe4I

[Chris @Chris62771610]

抢到 Jev 内测后我懵了：这玩意儿跟大模型到底啥区别？ https://t.co/xKgszBnG6n

[ZW @zway_ai]

https://t.co/8t424oAQZA

[lifcc @mylifcc]

OpenAI 和 Product Hunt 刚刚联合截止了「GPT-6 Astra Challenge」！
5 位优胜者直接拿 1 万刀 API 额度 + ChatGPT Pro + 官方推荐。
翻完这一波参赛提交，我发现开发者们已经不满足于做「套壳聊天」，几乎全在死磕自主执行（Agentic Workflow）与垂直交互。
挑了几个最具启发性的项目，带大家看看现在海外独立开发者都在做什么 👇

[lumxss @bkdgiffug]

别再东拼西凑地学 LLM 原理了，这个 LLM Internals 直接给你画了一条完整路线。

从分词、BPE、Transformer，一路讲到训练、微调、RAG、Agent，再到推理优化。

1️⃣ Q/K/V、RoPE、因果掩码、GQA 等注意力机制
2️⃣ Transformer、MoE、LoRA、归一化等核心组件
3️⃣ 反向传播、交叉熵、RLHF、推理模型
4️⃣ KV Cache、Flash Attention、Paged Attention、投机解码等推理技术

每个模块还配了博客和视频，适合把零散知识重新串起来。
🔗 https://t.co/uP8m543EC5

[Layton Gott @Layton_Gott]

Yesterday I said Jev would open a ton of doors...

24 hours later, this exists.

Cua built a 2.8MB model that scored 99.7% on their form-filling eval.

Hosted Jev scored 83.6%.

Not to mention it's FREE and only 706K parameters.

Small enough to run locally with not even 1gb or ram.

Fast enough to make decisions in one pass.

And specialized enough that your agent doesn't need to call a giant LLM for every tiny action.

Think about what this unlocks.

Every repetitive computer task could eventually get its own tiny specialist:

• forms
• CRM updates
• data entry
• browser actions
• document routing
• UI decisions

Then one powerful agent just routes work between them.

We are going to see some ridiculous stuff built from this as well.

[SuSu_酥酥👅 @NFT_Chen]

🔥还有谁？！Jev模型刚出来没几天，NanoJev 已经把整条链路开源了，不是套一层 API，是 0.6B 并行决策模型 + 数据 + 训练管线！

NanoJev 把「状态+问题 → 完整概率分布、零 token 解码」这条路直接摊开了：
🔹底座只用 Qwen3-0.6B，一次前向就能并行批处理多个状态、多个问题

🔹动态候选 2–255 个，支持 Choice / Boolean / Score 三类结构化决策

🔹50×50 迷宫：244 步、36 次碰撞到达终点；贪吃蛇 12×12 吃到 27 个食物还活着

🔹模型和数据全开源，训练、评测、持久化推理服务、三栏对照演示一条龙

🔹代码规划 + 模型局部判断，不是纯聊天模型硬解游戏

仓库：https://t.co/I9beFZVW6O

模型 / 数据：Hugging Face 上的 C-Tianyu/NanoJev

闭源刚喊完 200 倍更快，开源已经把玩具级 System One 端到端跑通了。就问还有谁？！

#NanoJev #Jev #SystemOne #开源 #LLM #Qwen3 #AIAgent #强化学习 #RLCD

[梭哈.AI @SUOHA_AI]

连 JEV 的联合创始人 @CompleteSkeptic 都亲自下场转发点赞：这是 JEV 正确的打开方式！

大家在 Claude Code 里写长代码，最恶心的就是上下文一满，系统就卡住 10 秒去写总结小作文

开发者 @tamarajtran 刚刚开源了这个插件：利用 JEV 的打分能力，几十毫秒内精准识别并清空所有没用的终端垃圾与冗余日志

Github：https://t.co/tINjxy35Em

它的作用是：
• 彻底治好 Agent 失忆症：几千行终端废话和文件内容让 JEV 毫秒级打分，没用的直接扔，核心���码与状态 100% 原样保留

• 彻底消灭卡顿与账单：几十毫秒无感完成瘦身，不花一分钱废话 Token

@typesafeai 的联合创始人 Diogo Almeida 也公开实名认可：这就是编码 Agent 绕过传统 KV 缓存的最佳解法🧐

[THE PG ERA @thepgeraa]

Remember when Mia Khalifa stepped into a wrestling ring and realized how tough pro wrestling actually is after previously calling it “fake” and showing no respect for it?

[yibie @yibie]

https://t.co/kNdjpq7DWs

[比特币橙子Trader @oragnes]

好多人私信问我网址，我贴出来。

这个Demo是 来自 @jarrodwatts ，我刚看到老哥已经开源了，大家可以去仓库直接看。

体验地址：https://t.co/rB24nDZ9Ic

Github：https://t.co/VeyL1z42E2

[比特币橙子Trader @oragnes]

卧槽，JEV 的出现很可能就是自动智能交易的起点。

昨天JEV在AI 圈刷屏，今天 Monad 工程师就用JEV做了一个自动交易机器人。

实时读取 MON/USDC 价格，JEV 不负责写分析报告，也不跟你解释一堆逻辑���它只做最核心的事，判断 Buy 还是 Sell，再给出置信度，然后直接把交易发到 Kuru 的链上订单簿执行。

这一下我突然明白 JEV 为什么要做成一个不会说话的模型了。

交易根本不需要 AI 每 300ms 给你写一篇小作文，它需要的是：

行情进来→判断→下单→新行情→重新判断，而且这一整套循环必须足够快、足够便宜。

而 Monad 现在刚好每 300ms 出一个区块，Kuru 又是链上订单簿。高性能链负责执行，JEV 负责决策，两个东西拼起来，已经有点AI 原生交易系统的味道了。

未来的交易 Agent，不一定需要一个会写研报的超级大模型，它更需要一个能在极低延迟下连续做几百万次判断的大脑。

昨天我 提交的WL今天也通过了，接下来我先尝尝咸淡，看看到底怎么个事。

[SkyPilot @skypilot_org]

Check out the blog: https://t.co/KpdgJxM2mL

[Xudong Han @Xudong07452910]

真实实验太贵怎么办？

先让 Agent 在自己的历史轨迹里「做梦」几百遍，再决定下一步把算力花在哪里。

这篇 Dream-RSI 做的就是这件事。

每次真实探索后，系统会把走过的分支、失败方案、评测结果和计算成本保存成一棵 Discovery Tree。

这些历史随后被重组成一个 Replay Simulator。Agent 可以在里面低成本尝试新的搜索策略，比如先探索哪条路、什么时候并行、什么时候停止，而不用重新执行真实实验。

选出更好的策略后，再放回真实环境继续探索。新��轨迹又会进入模拟器，形成下一轮自我改进。

有意思的是，底层 Coding Agent 始终没变。

真正持续进化的是「怎么探索」这层策略。

实验覆盖算法设计、数学优化和 GPU Kernel。Lasso 任务里，相比 SimpleTES，Agent 调用最高减少约 162×；GPU Kernel 任务中，相同预算下最高获得 2.09× 性能提升。

所以 Agent 的历史轨迹可能远不止是 Memory。

只要把过去的分支、决策和结果保存得足够完整，它们也可以变成训练下一版探索策略的模拟环境。

有点像人做研究时在脑子里反复推演：

先想清楚哪条路更值得走，再真正动手做实验。

📎 arxiv: https://t.co/61bwN1rSzT

[Roland.W @rwayne]

大模型推理加速技术的学习路线是什么？

推荐直接看 CMU 陈天奇大佬最新的推理综述：

Towards Efficient Generative Large Language Model Serving: A Survey from Algorithms to Systems

https://t.co/TY0OyKWSdp

[Michael Guo @Michaelzsguo]

有志向去大模型实验室工作？现在开始学模型训练还不晚。

最近，北京中关村学院的一个团队只用了3个月，就从零训练出了一个7B大模型ZGCM-1。

但更重要的不是模型本身，而是他们把整个训练过程几乎全部公开了：

训练代码、数据处理流程、训练数据与配方、模型权重、中间checkpoint，甚至训练日志都可以查看。

这相当于把过去只有进入头部大模型实验室，才能接触到的一整套训练过程，变成了一份公开的实战教材。

你可以看到数据如何筛选和配比，训练出了问题如何定位，模型能力如何随着checkpoint变化，以及论文里一句“我们进行了数据清洗”，背后究竟包含多少具体工作。

比如，他们曾遇到一个很典型的问题：loss还在下降，模型能力却突然退步。最后一路排查到数据分片和shuffle环节，发现模型实际吃到的数据比例已经偏离了原定配方。

他们还公开了不少只有亲自训练模型才会得到的经验：

更严格地筛选SFT数据，样本减少44.9%，整体效果反而提升；长思维链数据比例过高，会损害指令遵循；Agent数据也不能脱离通用能力单独训练。

更有意思的是，7个人之所以能完成这项通常需要大团队协作的工程，是因为他们组建了几百个Agent，分别处理数据、运行实验、监控日志、定位故障和执行评测。

所以，这不仅是一份从零训练大模型的公开教程，也是一份如何用Agent扩大AI研发能力的真实案例。

过去想学大模型训练，最大的门槛不是论文看不懂，而是看不到真正的训练过程，也没有机会亲手踩完整套工程的坑。

现在，有人把代码、数据、模型和建造记录全部放在了桌面上。

如果你真的想进入大模型实验室，这可能就是一份最好的入门实战项目：先复现，再理解，然后尝试改进它。

机会已经公开了，剩下的门槛只是你愿不愿意真正动手。

GitHub在👇

[动帧格 @nian_tu41685]

用A100跑最新的DeepSeek V4.1 Flash，6张卡才跑出33 tok/s，最后只用4张卡反而干到了并行吞吐1400+ tok/s，比DeepSeek官方API还快三倍多，这篇文章的质量高得吓人。

A100是六年前的数据中心GPU，现在算“老古董”了。一开始Claude Code直接告诉他“硬件不支持FP4，跑不了”。他不信，自己想了想——“不支持FP4”，那我换个方式算不就行了？然后就带着Claude Code一路死磕优化，卡少了，速度反而翻了几十倍。

但这篇文章最让我有感触的是他反复强调的一个观点：
现在的AI写代码确实能写出不出bug的代码，但它没有“质疑”的能力。 AI说“这是极限了”，它是真的认为到头了。它不会去怀疑“凭什么这就是极限”，不会拿profiler去一毫秒一毫秒地抠，不会去想“这个设计前提本身就是错的”。每一次关键突破，都是他作为人觉得“我不信”之后才发生的。

他说AI的思维方式本质上是“所有人类的平均反应”——大多数人觉得“不支持就是不行”，AI也就这么觉得了。但真正的工程是质疑前提、测量瓶颈、打破假设。

AI是很好的工具，但“这事儿真的只能这样吗”这个问题，需要由屏幕前的你来回答，而不是你手中的AI。

[青稞社区 @qingke_ai]

残差连接的改进已经散成八条线（HC、mHC、iHC、Gated Residual、Attention Residuals、xHC、VWN…），这份笔记把它们收进了一篇，做架构的人先收藏 →

https://t.co/OgbbOlJ2AK

[LimboAI @limbopeng]

李沐大神最近在小红书开答疑，600 多条提问，71 条他本人的回复，我全翻完了。

原话都放在下面，一个字没改。先说最有分量的一句，有人聊 agent 时代什么能力重要，他说：

"agent是能力放大器，就是能力x10，而不是加法器，不是能力+10"

如果你的能力是0，它不可能让你变成10。乘的是判断力。agent 干出来的东西，你得看得懂、验得了对错，才接得住这 10 倍。完全不懂的领域，需求提不准、结果好坏分不清，乘出来就是 0。所以它不拉平差距，反而把强的人放得更强，人和人的差距是乘出来的。

一、关于程序员

问：在 code agent 普遍落地的时候，对于程序员来说最重要的技能是什么？

"tech leader的能力吧，目前干掉了是基础的代码实现、review、运行。但tech leader干的活不止是这些"

问：现在还要不要学编程？

"目前来看，编程还是要学的。你可以不用写代码，但是得review代码，至少能够看得懂AI写的代码在干嘛"

问：这个时候去学其他编程语言，会不会必要性不大？

"目前来看，能够熟悉一个语言就行了吧。人的工作现在主要是给AI来review一下代码，防止他犯一些很低级的错误，或者整个设计上是绕了没必要的弯路。"

问：底层知识的学习还重要吗？

"我觉得还是要的。我用agent干，我不是很懂的东西，都干出来不太行。"

问：业务算法岗，将来该向哪个方向发展？应该提升哪方面的能力？

“简单来看，就是以前要五个人才能完成的工作，现在能不能你带着agent能完成？”

问：两年之后市场上真正需要的 AI 应用工程师会是什么样的？

"两年之后比较难说，因为技术发展太快，但今天能看到的是，需要的是能够负责一大块东西的人。以前是这样的人带一个五到十人的小团队去完成，现在可能就变成一个人带着一堆Agent去完成了。"

问：计算机博士生应该更注重培养哪些技能？

"我认为是解决事情的能力，能够带agent完成，之前可能要一个人带一个五到十人团队完成的事情。"

二、关于学习

问：现在的学生还需要老师做哪些指导？

"学生跟导师打杂的时代应该过去了。应该把学生看成independent researcher，学生能够带着agent独立完成工作。导师只要给一些更高level的指导就行了。"

问：非计算机专业的学生想学习 AI，推荐什么样的学习路径？

"先用AI做点什么事情吧。"

问：非 AI 专业想接触 AI，从哪里学起？

"用AI做个项目看看？"

问：文科生该如何利用 AI 建立自己的核心竞争力？

"我觉得可以试试，每天找一个topic，然后跟AI问二十个问题。"

问：该深耕一门技术追求深度，还是同时保持广度？

"我认为是深度优先。先把一件事情做深了，然后再尝试着做另外一件事情，去做广。"

问：大学三年高度依赖 AI，感觉什么都没学到，学习方向应该放在哪？

"我觉得学历可能不是最关键的，越到职业的后期，学历可能越没那么重要。但如果你都觉得自己过于依赖AI，没学到什么东西，这一点可能更加重要一点。至少先了解AI完成的工作，他在背后到底在干什么事情？"

问：现在的环境，还推荐读博士吗？

“现在的一个困境是说，之前做一个研究，从头到尾做，人学到了东西很多。现在很多时候你让agent做，结果上来讲他做的也不差，但是人学到东西变少了。所以，博士期间要干什么事情，这个是目前不是那么��确。”

三、关于心态和行业

问：30 岁了还没深入 AI，求鼓励。

“四十岁了都来得及，三十岁我觉得没问题。”

问：对于非天才的普通人来说，AI 算法研究的未来在哪里？

“我觉得做AI算法的人，大部分是也是普通人吧。”

问：管理岗位后面还有必要转吗？特别是在大公司。

“目前来看，大公司的管理岗位很多，就是把上面的话传给下面，这一块应该是要被替代了。但真正的管理还是挺难的，目前来看，大家对AI做真正的管理，还是有心理障碍吧。”

问：具身领域会是泡沫吗？

“短期看，肯定是有泡沫的。但这是一个自然的方向，因为A I做了白领的工作之后，就是要做蓝领的工作。但确实说具体什么时候能够落地，真正的发展起来，很有可能也是一个漫长的时间。就像无人驾驶，花了多少时间？”

问：端侧 AI 是否是真实需求？

“十年前，我很相信端侧，但深度学习那一波一直是在打脸。��前短期来看，因为GPU的价格走高，所以导致说端侧上应该会有一些应用���，比如说在Mac Mini上跑些模型。但长期来看，我认为还是一个比较小众的需求。”

问：AI 时代，算法工程师和用 GPT 的文科生比，优势在哪？

“AI能把人的优势放大十倍，你比别人厉害的地方，在利用AI之后，能够更厉害。”

[yibie @yibie]

https://t.co/Jj1kOIiW3B