Caixiaopig

in Shanghai. digital fans. game fans. apple fans. and a DRLer

[Caixiaopig @Caixiaopig]

@m0d8ye @newdongyuwei 请问这套免费软件的名字是什么了？

[Progyan @plugyawn]

I spent the last six months trying to deconstruct Taalas's patents. We think it can be better: 100x fewer memfetches than their bitROM, better software by better quantization than their hardware team could.

So we wrote a compiler that:
> takes a huggingface checkpoint,
> quantizes the model
> descends the weights down metal layers to RTL and GDS, do your DRC, Yosys, PEX, make the electrical waveform execute a mat-vec from your huggingface checkpoint (thanks Cambricon tech papers)

in ~7000 lines of human-readable code.

we're looking for someone with contacts with a foundry/access to 7nm PDKs or contacts at a cheap EuroPTW shuttle? I'm broke and unemployed.

@itsclivetime this is what i think is the future of perplexity per picojoule. @zerohedge @zephyr_z9 you guys wanna see 40,000 tokens/sec?

[Tibo @thsottiaux]

If you aren't yet bold enough to install the Codex app, you can stay in the presence of your orange crab and point it at GPT 5.6 Sol. Takes 5 minutes. Kudos to Theo for explaining one of the ways to get this done.

Step 1: Install CLIProxyAPI
Step 2: Connect
Step 3: Define following alias and enjoy claudex

```
alias claudex='CLAUDE_CODE_SUBAGENT_MODEL=gpt-5.6-sol \
CLAUDE_CODE_ALWAYS_ENABLE_EFFORT=1 \
CLAUDE_CODE_MAX_TOOL_USE_CONCURRENCY=3 \
ENABLE_TOOL_SEARCH=false \
claude --model gpt-5.6-sol'
```

If this gets blocked, I owe you a reset.

[李韭二 @li9292]

普通 RAG 的隐含假设是：

用户问题 → 检索 top-k → 生成答案

Agentic RAG 的改进是：

用户问题 → 拆解问题 → 多路检索 → 判断证据够不够
↑ ↓
缺什么 ← gap feedback

这其实非常像 Memory Engineering 里的一个基础原则：

memory retrieval 不是“找一些相关内容”，而是“证明当前上下文足以回答问题”。

也就是说，Memory 系统不应该只返回 chunks，而应该返回：

- 已找到什么证据
- 每个证据支持问题中的哪一部分
- 还有哪些 slot / sub-question 没被覆盖
- 是否需要继续检索、换 query、换 corpus
- 如果仍然没有，是否应该明确拒答或标注缺失

这比“向量库 + rerank”高级一层。

2. 这篇真正有用的模块：Sufficient Context Agent

Google 说它检查三样东西：

- retrieved snippets：检索到的原文片段
- intermediate draft：中间草稿答案
- missing pieces analysis：缺口分析

这个设计很重要。

因为很多 RAG 系统的问题不是“没检索到东西”，而是：

检索到了一堆看起来相关的东西，但其实只覆盖了问题的 60%。

例如医生那个问题里，用户问了：

- discharge medications
- dietary restrictions
- allergic reactions
- 还要求排除 inpatient / emergency meds，除非是 heparin IV drip 或 Tenecteplase

普通 RAG 可能检索到药物和饮食就开始答了。

但 Sufficient Context Agent 会问：

原问题里有几个约束？
每个约束有没有证据？
有没有 evidence gap？
gap 是什么？
下一轮该搜什么？

这对 Memory Engineering 很关键，因为 memory 系统经常面对的不是简单事实查询，而是“带约束的历史上下文重建”。

比如：

- “我上次说过不喜欢什么样的播报？”
- “这个项目之前为什么决定不用方案 A？”
- “之前我们关于 Agent Memory 的判断依据是什么？”
- “帮我续写上次那个系统，但不要重复已否掉的方向。”

这些都不是单次 semantic search 能稳定解决的。

3. 可以抽象成一个 Memory Retrieval Verifier

我会把这篇文章里的启发抽成一个组件：

User Query
↓
Intent / Constraint Parser
↓
Memory Query Planner
↓
Multi-source Retrieval
↓
Evidence Ledger
↓
Sufficiency Verifier
├─ enough → Answer / Act
└─ not enough → Gap-specific Retrieval

其中最重要的是两个 ledger：

Evidence Ledger

记录：

claim: 用户问 discharge meds
evidence: discharge summary paragraph 3
source: clinical_notes / discharge_summary
confidence: high

Gap Ledger

记录：

missing: allergic reactions during stay
why_missing: current snippets only mention discharge meds and diet
next_query: rash OR adverse event OR allergy OR reaction
next_source: clinical notes / nursing notes

这比传统 RAG 的 source citations 更进一步。

传统 citation 是“我引用了哪里”。

Memory Engineering 需要的是：

我为什么认为这些记忆已经足够？
我还缺什么？
我是否为了补缺口继续搜过？

4. 对 Agent Memory 的直接启发

我觉得可以分成四层：

第一层：Memory retrieval 不该是 top-k，而是 coverage search

不要问：

找和问题最相关的 10 条记忆

而要问：

这个问题包含哪些子问题 / 约束？
每个子问题有没有 memory evidence？

这尤其适合长期记忆、项目记忆、用户偏好记忆。

第二层：Memory search 要允许“失败后继续找”

Google 文章里说的 persistence，其实就是：

第一次没找到，不等于不存在；可能是 query formulation 错了，或者 source 选错了。

对 memory 系统也是一样。

比如用户问：

“之前我们怎么定的内容方向？”

如果搜 “内容方向” 没搜到，不应该马上说不知道。应该继续搜：

- 选题方向
- 内容策略
- Supreme Directive
- 早报偏好
- Agent Memory
- 个人提效
- 企业 AI 转型

这就是 query rewrite + gap search。

第三层：Memory namespace / corpus routing 很重要

Google 的 cross-corpus retrieval 对企业场景是：

finance db
project logs
clinical notes
nutrition notes
pharmacy records

不同 corpus 的可信度、时效性、用途不同。

所以 Memory Engineering 不能只有一个大向量库。更好的方式是：

query → 判断该去哪个 memory namespace 找

例如：

- 用户偏好 → persistent memory
- 上次对话细节 → session_search
- 项目决策 → repo docs / plans / issues
- 内容素材 → saved第四层：stop condition 是关键

Agentic RAG 最大的问题是容易无限搜。

所以 Sufficient Context Agent 的价值还包括：决定什么时候可以停。

Memory 系统也应该有类似 stop condition：

如果所有 required slots 都有证据 → 停
如果经过 N 次 gap search 仍缺失 → 明确说明缺失
如果找到互相冲突的 memory → 标注冲突

[Andrej Karpathy @karpathy]

LLM Knowledge Bases

Something I'm finding very useful recently: using LLMs to build personal knowledge bases for various topics of research interest. In this way, a large fraction of my recent token throughput is going less into manipulating code, and more into manipulating knowledge (stored as markdown and images). The latest LLMs are quite good at it. So:

Data ingest:
I index source documents (articles, papers, repos, datasets, images, etc.) into a raw/ directory, then I use an LLM to incrementally "compile" a wiki, which is just a collection of .md files in a directory structure. The wiki includes summaries of all the data in raw/, backlinks, and then it categorizes data into concepts, writes articles for them, and links them all. To convert web articles into .md files I like to use the Obsidian Web Clipper extension, and then I also use a hotkey to download all the related images to local so that my LLM can easily reference them.

IDE:
I use Obsidian as the IDE "frontend" where I can view the raw data, the the compiled wiki, and the derived visualizations. Important to note that the LLM writes and maintains all of the data of the wiki, I rarely touch it directly. I've played with a few Obsidian plugins to render and view data in other ways (e.g. Marp for slides).

Q&A:
Where things get interesting is that once your wiki is big enough (e.g. mine on some recent research is ~100 articles and ~400K words), you can ask your LLM agent all kinds of complex questions against the wiki, and it will go off, research the answers, etc. I thought I had to reach for fancy RAG, but the LLM has been pretty good about auto-maintaining index files and brief summaries of all the documents and it reads all the important related data fairly easily at this ~small scale.

Output:
Instead of getting answers in text/terminal, I like to have it render markdown files for me, or slide shows (Marp format), or matplotlib images, all of which I then view again in Obsidian. You can imagine many other visual output formats depending on the query. Often, I end up "filing" the outputs back into the wiki to enhance it for further queries. So my own explorations and queries always "add up" in the knowledge base.

Linting:
I've run some LLM "health checks" over the wiki to e.g. find inconsistent data, impute missing data (with web searchers), find interesting connections for new article candidates, etc., to incrementally clean up the wiki and enhance its overall data integrity. The LLMs are quite good at suggesting further questions to ask and look into.

Extra tools:
I find myself developing additional tools to process the data, e.g. I vibe coded a small and naive search engine over the wiki, which I both use directly (in a web ui), but more often I want to hand it off to an LLM via CLI as a tool for larger queries.

Further explorations:
As the repo grows, the natural desire is to also think about synthetic data generation + finetuning to have your LLM "know" the data in its weights instead of just context windows.

TLDR: raw data from a given number of sources is collected, then compiled by an LLM into a .md wiki, then operated on by various CLIs by the LLM to do Q&A and to incrementally enhance the wiki, and all of it viewable in Obsidian. You rarely ever write or edit the wiki manually, it's the domain of the LLM. I think there is room here for an incredible new product instead of a hacky collection of scripts.

[indigo @indigox]

Jack Dorsey 终于把他的去中心化理想映射到了企业组织架构上 - AI 将取组织的“层级”！从古罗马军队到今天的跨国企业，所有组织架构的本质都是同一个东西：信息路由协议。为了解决一个人最多有效管理 3-8 人这个认知限制，普鲁士参谋系统发明了中间管理层，美国铁路商业化了它，两百年没有本质改变⏩

现在，组织不再必须以“人类”作为协调与信息路由的唯一介质，AI 首次具备了全盘协调的能力，不再依赖人类层层传递。当智能回归系统中心，人类将退守至触碰真实世界的“边缘地带”。。。

边缘是系统认知⽆法触达的真实世界。⼈类负责处理直觉、⽂化语境 、信任博弈、伦理道德以及⾼⻛险决策 。组织的“世界模型”为边缘的每⼀个⼈提供全局上下⽂ ，⽆需再等待指挥链上下传递信息，这是一个去中⼼化的决策系统！其实最近的几场战争已经是这种模式了。

Block 的方案建立在两个相互强化的世界模型上：

1. 公司世界模型（Company World Model）

Block 是远程优先公司，所有工作都产生数字化 artifact——决策、讨论、代码、设计、计划、进度全部机器可读；

传统公司里，管理者的工作是了解团队发生了什么，然后在层级中上下传递上下文。在远程优先、工作已经机器可读的公司里，AI 可以持续构建和维护这张图景：什么在建设中、什么被阻塞了、资源在哪里分配、什么有效什么无效。这就是层级以前承载的信息，现在由公司世界模型来承载。

2. 客户世界模型（Customer World Model）

钱是世界上最诚实的信号。人们在调查中说谎，忽视广告，放弃购物车。但当他们消费、储蓄、转账、借贷或还款时，那就是事实。

Block 同时看到买家（Cash App）和卖家（Square）两侧的数百万交易，每天都在产生关于每个客户、每个商户的金融现实理解——这是复利积累的专有数据。

当边缘地带不再需要永久的中层管理，组织被极致简化为三类角色：

- 个人贡献者（IC）：建设和运营能力、模型、智能层和接口的深度专家。世界模型提供了以前管理者提供的上下文，所以 IC 可以在不等待被告知该做什么的情况下做出决策；

- 直接责任个人（DRI）：拥有特定跨职能问题或机会的所有权，可能是 90 天，有完整权力调用任何能力团队、模型团队、接口团队的资源；

- 团队教练（Player-Coach）：替代传统管理者（其主要工作是信息路由）。教练仍然写代码、建模型或设计接口，同时投资周围人的成长。他们不花时间在状态会议、对齐会议和优先级谈判上——世界模型处理对齐，DRI 结构处理策略和优先级，教练处理技艺和人的成长！

没有永久中间管理层✨

[MIT CSAIL @MIT_CSAIL]

A prompt you can use in Claude to help build & launch apps, v/@milesdeutscher.

[Caixiaopig @Caixiaopig]

@trq212 @readwise save threads

[Caixiaopig @Caixiaopig]

@oragnes 这个feature早就有了，只是以前不是 slash command，而是直接输入 btw,

[Caixiaopig @Caixiaopig]

@Jiaxi_Cui 可以买他们家最低配或者特价的https://t.co/yXierRiWZT做前置，再买一个高配的TYO.T1放实际的应用，性价比拉满。

[Caixiaopig @Caixiaopig]

AI和芯片的底层变化，正在影响你的工作、你的手机、你的行业。

Jack Dorsey的Block公司裁员近半，AI驱动的生产力革命正在席卷每个行业。

理解这场变革的人，才能找到自己的位置。不理解的人，只会被时代推着走。

#AI #半导体 #芯片 #NVIDIA #TSMC

7/7

[Caixiaopig @Caixiaopig]

🧵【2026年芯片战争与AI革命】

当火箭公司以1.25万亿美元并购AI公司；当AI企业正面拒绝五角大楼；当中国AI算力需求首次超越美国……

这一切，都发生在2026年2月的最后几天。

我们正站在历史的转折点上。👇

1/7

[Caixiaopig @Caixiaopig]

中国视角：

✅ AI token需求首超美国
✅ 国产芯片从"推理"迈向"训练"
✅ 智能算力规模超1590 EFLOPS
✅ 12英寸晶圆厂月产能将破321万片
✅ 高阶AI芯片市场增速>60%

2026，国产芯片破局元年。🇨🇳

6/7

[Caixiaopig @Caixiaopig]

@bcherny @trq212 @readwise save thread

[Caixiaopig @Caixiaopig]

@trq212 @readwise save thread

[Caixiaopig @Caixiaopig]

@Jimmy_JingLv 这个工具很多深层次 bug，用到后面就会遇到，折腾半天花时间。