Polyhash

[Phoenix Yin @Phoenixyin13]

Karpathy 掀翻 RAG！聊聊两个月前的终结个人知识库腐烂的终极战略

这是让 AI 替你打理个人维基百科的实战���言。

2026 年 4 月初，AI 领域顶流大牛、前 Tesla AI 总监、OpenAI 联合创始人 Andrej Karpathy，用程序员的思维，从源码、编译、Lint 到解耦，彻底重构了人类的知识管理方式。

他发布了一篇名为 LLM-WIKI.md 的短文，给出了一个具体、可执行、可复制的框架，教你用当下 LLM 实现知识的复利增长。

绝大多数人在用 Obsidian、Notion 等工具构建第二大脑时，都会经历同一个痛苦阶段：

疯狂收藏、高亮、标注，却从不整理。最终知识库变成一堆死去的文字，图谱腐烂、链接断裂、检索失效。

Karpathy 给出了一个全新的解法。

人类只负责输入和最终审阅，把枯燥的整理、链接、维护、更新工作全部交给 Claude、Cursor 等大模型。

从 RAG 走向 Compile。
传统 RAG 的局限在于每次提问，AI 都要临时从一堆碎片文件中捞取相关段落，拼凑答案，效率低、上下文弱、容易���觉。

Karpathy 提出的 Compile 模式则完全不同。
你的原始笔记等于源代码 raw，永不修改。大模型等于编译器。
每次加入新内容，AI 就一次性编译融合，生成结构化、交叉链接的 Wiki 页面。
提问时，直接查询这个已经长在一起的活知识库，而非临时拼凑。

这让知识从一次性检索变成了持续 compounding 复利增长的持久 artifact。

Karpathy 在文中列出了构建自我维护知识大脑的 9 条核心军规，我将其精炼为三个最重要维度。

1. 三层严格解耦。
Raw 原始不可变，Wiki AI 维护的编译产物，Schema 规则文件。人类只管输入，大模型负责全部 bookkeeping。

2. 代码化管理与健康检查。
把知识库当作代码仓库处理，定期 Lint 检查矛盾点、孤立节点、断链，及时标记低置信内容，像代码审查一样维护知识质量。

3. 单点迭代、小步快跑。
拒绝批量狂导入，坚持一次只认真消化一个高质量来源。从 10 个种子开始，让知识图谱像有机体一样自然生长，避免早期膨胀导致的腐烂。

这篇短文是一篇技术随笔，却也是一篇个人认知进化的方法论宣言。

发布两个多月来，它在 Obsidian、Cursor、Claude 社区掀起了一波实践热潮：

有人已把自己的 Wiki 扩展到上百页、数十万字；
有人开发了自动化插件；
也有人分享了在学术研究、个人成长、创业复盘中的实际效果。

Karpathy 再次用极简却深刻的方式提醒我们：

工具的进化，最终指向的是人类注意力的解放。

强烈推荐每一位没有读过此文重度知识工作者、研究者、创���者都去读一读原文。
它就是你的下一阶段第二大脑，从噪音走向永续生产力的转折点。

[Vuk Rosić 武克 @VukRosic99]

GLM 5.2 post-training code is OPEN SOURCE (slime)

Megatron-LM trains. SGLang generates the rollouts. A single data buffer ties them into one continuous RL loop, with weights synced back every step.

My technical writeup below.

[Antonio Lupetti @antoniolupetti]

"Mathematics of Neural Networks" is an excellent set of lecture notes for anyone who wants to study modern neural networks from a mathematical perspective.

It covers supervised learning, artificial neurons and activation functions (ReLU, sigmoid, tanh, swish, softmax), shallow and deep neural networks, stochastic gradient descent, weight initialization, vanishing and exploding gradients, convolutional neural networks, automatic differentiation, backpropagation, adaptive optimization algorithms (Adagrad, RMSProp, Adam), and concludes with modern geometric concepts such as manifolds, Lie groups, equivariance, group convolutions, and rotation-translation equivariant CNNs.

I recommend keeping it in your bookmarks as a useful reference whenever you need to explore the mathematics behind neural networks.

https://t.co/78VDWxjDUa

[Ricko Yu @cosmtrek]

发现一个巨牛的书 The Hitchhiker’s Guide to Agentic AI，覆盖 Agentic AI 全貌

https://t.co/ltHEAJbHUN

[Xiuyu Li @sheriyuo]

A nice theoretical revisit of OPD.

With the same supervision budget, supervising only the first 30% of tokens nearly matches standard OPD, while supervising only the last 30% barely works.

Framing OPD as a constrained optimization problem naturally leads to an importance-weighted objective, resulting in IW-OPD, which improves sample efficiency and performance with no extra inference cost.

Paper: https://t.co/ABztcquS6a
Blog: https://t.co/zuIu9sVIoH

[darkzodchi @zodchiii]

A Stanford team just published the 16-page PDF on “How to structure an AI agent”

Structure matters more than how you prompt it, and it's backed by hard numbers.

Build → Reflect → Curate → Reuse

• Build: the agent starts with a structured context, not a clever one-off prompt.

• Reflect: it watches what actually worked during execution, no labels needed.

• Curate: it folds those wins into an evolving playbook instead of a static prompt.

• Reuse: the next run starts from that refined structure, getting stronger each time.

This is exactly why senior engineers build the structure first in Claude Code, then let the agent run.

Read the paper, then grab the setup below 👇

[Alexander Goslin @xandurglar]

I owe it all to this Reddit post

[Phoenix Yin @Phoenixyin13]

我认为这是ICML 2026里的上乘工作。

传统 Transformer 的 Attention 机制，本质上是点对点匹配，把输入切成一堆 token，即离散点，然后算 Query 和 Key 的相似度，再加权 Value。

这在 NLP、图像上很管用，但对连续函数、场，比如物理模拟中的 PDE 偏微分方程、3D 几何、流体、材料力学等来说，就有严重的问题：

1. 连续的东西被强行离散化成 token，忽略了全局函数结构。
2. 对分辨率敏感，换个采样率就容易崩
3. 计算是 O(n²)，n 很大时很贵。

所以，Functional Attention应运而生。

这次，FuncAttn 把函数本身当成第一公民，不再用 softmax 算点对点相似度，而是用 结构化的线性算子，来建模两个函数空间之间的函数对应关系。

它的灵感，来自几何处理里的 Functional Maps，把复杂 3D 形状对应问题变成简单线性算子，实为巧妙。

结果是更紧凑（k×k 算子，k << n）、分辨率不变，捕捉全局依赖更好、在 PDE 求解、3D 分割、回归等任务上达到或超过 SOTA，还在 OOD泛化上表现突出。

未来，Functional Attention对 AI 应用的实际用处很大，尤其在科学计算 + AI和需要处理连续、物理世界数据的场景中。

它会成为Neural Operator与科学 AI 领域的强力升级组件。

这篇论文，会让 AI 向擅长连续物理世界迈进一大步。对科研加速、工程模拟、具身 AI、BCI 等前沿应用极度有价值。

这正是我认知神经愿景的核心基础设施之一。

[poyo @k_solidified_]

https://t.co/VJqhjAsRTQ
全人類これ読むべき😤😤

[老金 @freeman1266]

看着Anthropic的两个工程师24分钟，然后意识到我一直在像猴子一样使用Claude Code

[lucas @lucas_flatwhite]

📑 스탠포드 대학교의 CS336: Language Modeling from Scratch

정보는 웹 어딘가에 모두 널려있어요. 이걸 아느냐 쓰느냐 마느냐는 본인의 선택이죠.

그 시작이 여깁니다. 전체강의.. 그리고 과제 자료.
https://t.co/PQ21GbY6oX

https://t.co/r5XrCHCcnN

데이터 수집부터 토크나이저 구현, 모델 아키텍처 설계, 대규모 분산 학습, 정렬까지 모든 과정을 학생들도 직접 구현하도록 설계된 매우 인텐시브한 강의입니다.

인공지능, 거대 언어 모델의 핵심을 밑바닥부터 파고들 수 있도록 설계된 프로젝트!!

그 수준이 정말 뛰어나다는데에 동의합니다.

[WquGuru @wquguru]

GEMINI预训练团队负责人在五月份写了一篇《如何进入头部AI团队/实验室》，非常值得一读，总结10条经验：

前沿实验室的招聘卷得厉害，能进去的大多出自顶尖本科或博士项目，身上普遍有三样东西：方向打得准、数学功底硬、拼劲十足。 对大多数普通人来说，硬挤正面没胜算，更务实的打法是绕到 LLM 栈的两头——要么沉下去做底层（kernel 优化、推理加速、量化），要么浮上来做上层（agent 系统、用 LLM 搞算法实验），靠开源项目和实打实的成果说话，比什么都有说服力。

1. 找准方向，切忌空谈

别张嘴就是“我对 AI 感兴趣”。得盯准实验室真正缺人的地方：底层就死磕 FlashAttention、量化推理、kernel 编程；上层就做 agent 循环、LLM 辅助的实验设计。这些方向门槛不高，自学能上手，实验室又天天用得着。

2. 数学底子绕不过去

这里没有捷径，只能靠大���证明题和理论课程硬磨。优化理论、scaling laws、模型演化逻辑，得吃到骨子里去。数学成熟度���分水岭，过了就是研究者，没过就是操作工。

3. 拼劲得够，别怕苦

大学那几年，周末泡图书馆是常态，社交能砍就砍。作者当年和朋友靠浓咖啡硬扛一整天，就这么熬过来的。想和那拨尖子生掰手腕，没有这点强度打底，基本没戏。

4. 用开源项目破局，别指望简历

把代码挂到 GitHub 上，做复现、提改进、跑 benchmark。能力这东西，摆出来给人看，比写在纸上管用得多。

5. 从边角料干起，别一上来就冲大模型

先搞定 kernel 编程（CuTe、LLM.int8() 量化这些）、推理优化、agent 工具链。这些活实验室最缺人，也最容易自己闷头学出来。

6. 论文 + 动手复现，两手都要硬

精读 FlashAttention、SnapKV 这些经典，把 LLM 的脉络理清楚。建议从 Reiner Pope 的访谈和 Gemini Flash 的预训练讲座入手，再慢慢啃 scaling laws。

7. AI 工具用来提速，别用来代替学习

AI 能让你已经会的东西干得更快，但绝不能拿它来学新东西或跳过思考。一依赖就废，数学和拼劲都养不出来了。

8. 每隔半年复盘一次方向

别嫌活脏、别嫌活基础——只要那条路通到金矿，就值得挖。关键是想清楚自己在往哪走。

9. 拿具体练习证明自己
- 用 JAX/Flax 从零写一个 1000 万参数左右的 Transformer，在 Colab TPU 上跑通加法任务；
- 手推 Chinchilla scaling laws，对比稠密模型和 MoE；
- 写一个 Pallas kernel 做算子融合，实测前向加速并说清原因。

10. 最终就一条路：本事 + 作品 + 死磕，缺一��可

名校背景当然管用，但对出身一般的选手，最靠谱的就是在 kernel 或 agent 领域做出能拿出来秀的东西，然后做好打 5–10 年持久战的准备。

[Alisa Liu @alisawuffles]

I'm joining OpenAI next week!🥹 The job search turned out to be really challenging but also super rewarding, so I wrote a small blog to share what I learned along the way and hopefully make the process a little less mysterious for the next person. https://t.co/6FigSBdenD

[李韭二 @li9292]

如何加入OpenAI？只需精通以下课程：

1. 斯坦福大学的“从零开始的语言建模”课程：https://t.co/qcKJpUKHKE

2. 在掌握广度之后，她逐一深入研究概念，使用博客、论文、与 ChatGPT 和 Claude 聊天，以及从零实现相关内容。

3. 在面试中，实现/调试 Transformer 的问题经常出现。将它转化为肌肉记忆：https://t.co/87efH1wcMN…

4. 刷 Leetcode🥲 https://t.co/guxGWeIR1G…

5. 她分享的其他学习资源：
a. 自注意力 & Transformer：https://t.co/ZIQYTxYsO7…

b. 插图版 GPT-2：https://t.co/oitXJcGkUZ…

c. 反向传播
https://t.co/wZSaygwSYS

d. 语言模型策略梯度入门
https://t.co/AOro9Jyimm…

e. 理解 GRPO 和强化学习原理的轻量级指南
https://t.co/u480148uxU…

f. 如何扩展你的模型
https://t.co/tdIIpZKmMX

这是我能免费看的内容吗？🤡

[路飞 🏴‍☠️ AI 研究员🧐 @0xluffy_eth]

李录时隔 5 年公开发言，160 分钟，值得反复看。

他是谁？

查理·芒格的黄金搭档，芒格亲口称他"中国的巴菲特"。

喜马拉雅资本创始人，管理规模 80 亿美元，长期年化回报超 20%。

巴菲特和芒格重仓比亚迪，是他力荐的——最终回报 30 倍以上。

[Matthieu wyart @MatthieuWyart]

LLMs learn by predicting tokens. World models (JEPA, data2vec) learn by predicting their own abstractions. Which needs more data? For data with hidden hierarchy, we prove the gap is exponential. https://t.co/r2uuX0lBCu

[AYi @AYi_AInotes]

学 AI的兄弟们，别再死磕调包了，
现在从零写一个大语言模型，比学会怎么熟练使用PyTorch还简单😂

看看这两个19岁本科生，四个月从零造了完整的机器学习框架和大模型。

两个19岁的滑铁卢大学本科小哥哥，
四个月前对机器学习一窍不通，
现在他们从零造了一套完整的机器学习框架，
还训出了一个1200万参数的大语言模型，能直接在你的浏览器里跑。

说明大多数人学AI的顺序完全搞反了，大家都是先学调包，再学模型架构，最后才敢碰一点点底层。

这两人反过来，
从梯度下降的微积分开始写，
先写自动���分引擎，
再写BPE分词器，
然后一层一层搭Transformer，
最后反而比绝大多数调了三年包的工程师理解得都要深。

还有一个很少有���看出来的点，
现在AI的真正门槛，早就不在模型架构了。

Transformer的论文2017年就发了，
每一层的数学都是公开的，
随便一个大学生都能背下来。

真正难的是那些论文里从来不写的东西，
怎么写Flash Attention把内存占用降一个数量级，
怎么把加bias加激活加归一化合并成一个内核，
怎么把整个数据集一次性扔进GPU，让训练全程零数据传输，
这些才是决定你能不能真的把模型跑起来的关键。

大厂也正在把简单的事情变复杂，
PyTorch为了兼容所有情况，堆了无数层抽象，
最后你都不知道自己写的一行代码在GPU上到底在干什么ಠ_ಠ

而开源正在把复杂的事情变简单，
这两个人用Rust写后端，TypeScript写前端，
底层跑得飞快，上层用起来和PyTorch一样简单，代码加起来不到一万行，
还比任何一个主流框架都干净，这你受得了吗哈哈

这才是最好的AI教育，
不是看一百篇论文，
或者刷十个在线课程，
而是从第一性原理出发，
自己造一个轮子。

当你亲手写过一次自动微分，
你就再也不会觉得AI是什么神秘的黑魔法了。

它就是一堆精心优化的矩阵运算，
加一点聪明的数据流管理，
仅此而已。

我觉得这个视频最恐怖的地方不是两个大学生有多厉害，
而是它证明了两年前还只有大厂实验室才能干的事，
现在已经变成了普通人的业余爱好项目。

最后想说，我们处在一个最好的时代，科技平权的时代，
AI的民主化不是大厂给你发API密钥，
咱们任何人只要愿意花四个月时间，
就能在自己的电脑上，造一个属于自己的大语言模型。

想玩的直接去他们的GitHub仓库，npm install就能跑。
浏览器demo的链接我放评论区了👇

[科技混子Chris @ChrisSlacker]

这 10 类非法网站，不开 VPN 最好别碰。

仅供教育目的：

[Mustafa @oprydai]

tensor algebra is not abstract math.

it is the grammar of modern intelligence.

a scalar is one number.
a vector is a line of numbers.
a matrix is a grid of numbers.
a tensor is the general form: numbers arranged across multiple dimensions.

images are tensors.
videos are tensors.
robot sensor streams are tensors.
neural network weights are tensors.
physics simulations are tensors.

deep learning is basically tensor algebra + optimization + compute.

once you understand tensors, AI stops looking like magic.

it becomes structure.

reality → numbers → geometry → transformations → intelligence.

[slash1s @slash1sol]

IN 1986 MIT FILMED A LECTURE THAT OPENS BY TELLING YOU COMPUTER SCIENCE IS NOT A SCIENCE AND HAS ALMOST NOTHING TO DO WITH COMPUTERS

72 minutes from Hal Abelson and Gerald Sussman, the lecture an entire generation of engineers calls the one that rewired how they think.

-> The line that lands: computer science is about computers the way astronomy is about telescopes. The tool was never the point.

The real subject was always one thing -- controlling complexity. Everything else is detail.

Forty years later it reads like a prophecy. AI writes the syntax now. What's left is exactly what they taught: taming complexity nobody can hold in their head.

The language was never the skill -> the thinking was. This is where you learn it.

Most people chase the newest framework. The ones who watched this think on a level frameworks can't touch.

Bookmark & Watch today it, this one's a legend ↓