alittlebear

Research Assistant at Tsinghua KEG (@thukeg), Undergrad @UofT, supervised by Prof. Jie Tang (@jietang)

[alittlebear @alittlebear]

@kirisawa_subaru 那挺好的，看起来效率确实

[alittlebear @alittlebear]

现在喜欢的流程：

开始：
先打开几个claude sessions，弄一个main然后grill-with-docs + html specs + llm wiki确定好设计。然后分配任务给几个subagents弄个原型出来看看如何。然后优化/重构specs文件夹 / wiki，这样迭代重构两三轮基本原型就没问题了。

实际执行：
主要电脑tmux打开8-16个claude sessions，其中有一个main session用的是fable，其他都是几个providers和模型混着来。然后主要工作都是在tailscale另外一个电脑。写了一个系统级别的workflow工具，可以同时派几个providers的不同模型，并且控制每一个的并发。然后main就把主要工作拆分发消息给打开的几个claude sessions，这样，设计lane spec让每个session来，然后main这里仅负责统一派发到另外一个电脑（经过tailscale ssh）实际执行

main之外还有一个独立fable session，定时用fable subagent和codex exec astra定时审计是否偏离，有就发消息纠正，main不用goal而是定时任务，每10min要求报告一下所有固定的状态，以及全局需求进行的如何了，锚定状态

cc的askUser能不阻塞就好了，现在只能有问题/报告发飞书，然后我手动回复一下

目前 4万 commit 的项目下来看起来挺稳定的，问题主要都在锚点以及测试这里指标不清晰的问题，偶尔修正一下。

[alittlebear @alittlebear]

@chunxiangai 如果是自己的harness，bash 的 tool schema直接加一个 description / 直接显示 ui 这里不久好了，这个分类是真没必要。。。

[alittlebear @alittlebear]

@cholf5 cc最近版本对于sota模型已经禁用Task*功能了，这个TaskList也不会主动稳定更新，除非给大量reminders

[AYi @AYi_AInotes]

清华大学和无问芯穹等团队刚刚开源了一篇注定载入史册的重磅论文（已收录于 ICLR 2026，代码已开源）：
他们彻底打破了所有多智能体（Multi-Agent）系统的底层范式——
大型语言模型之间，从今天起可以彻底不通过人类文字进行直接交流了！

这项被称为 C2C（Cache-to-Cache，缓存到缓存）的技术，
开篇就指出了全网 Agent 协同里最愚蠢、也最昂贵的一个死穴：
为什么两个跑在同一台服务器里的超级 AI，交流时非要像人类一样，
把脑子里极其丰富的高维思考，硬生生压缩成一个个英文或中文单词打给对方看？

现有多 Agent 协同的痛苦，做过工程的人都懂：
模型 A 思考完，必须经历极其漫长、吃显存带宽的逐字解码（Decode），慢吞吞吐出一大堆文字；
模型 B 拿到这堆文字，再重新过一遍分词和前缀计算。
这一来一回，不仅丢失了海量微观的语义细节，更造成了毁灭级的延迟和 Token 账单！

清华团队这次做了一件极其惊艳的体系化反叛——C2C 脑电波直连：

1️⃣ 彻底消灭中间文本，直接做“思维投影”：
模型 A 算完后，根本不生成任何文字，
系统直接用一个轻量级神经网络（Neural Fuser），把模型 A 的注意力记忆（KV-Cache）通过高维空间旋转和对齐，直接嫁接、融进模型 B 的 KV-Cache 脑内！
这相当于人类交流跳过了声带和耳朵，直接把我的记忆切片瞬间印进你的大脑；
2️⃣ 可学习的智能门控（Gate 机制）：
不同模型的网络层数和结构各不相同，直接硬灌肯定会神经错乱。
论文设计了一套精妙的可学习门控：
大模型会自己动态感知，精确挑选哪些关键层吸收外部缓存的增益最高，哪一层该保持独立思考，毫秒级自适应配平；
3️⃣ 极其残暴的工业基准成绩：
• 彻底消灭中间所有的文本解码等待，推理速度直接飙升 2.0 到 2.5 倍；
• 综合问答准确率比单模型最高暴涨 14.2%；
• 最狠的是：它的表现比传统用文字互相聊天的 Agent 团队，还要高出整整 5%！
因为在直接的语义融合下，原本会被文字丢弃的逻辑细微特征，全部被完整保真保留了。

这篇论文最刺痛人的一层哲学启示在于：
人类一直自豪地以为，自然语言是这个星球上传递智慧最完美的介质；
但在机器与机器的交互世界里，人类语言不过是一道充满歧义、极其拥挤的低速单行道。

当两个模型不再需要通过文字向对方妥协，
它们正在绕过人类的喉咙，
在冰冷的显存带宽之间，编织出一座全人类根本听不见、却快得不可思议的超高速无声神经网络。

[alittlebear @alittlebear]

资源什么的和工业界合作都好说。感觉最落后的还是现在的学术界论文体系。我有点激进了，不过我觉得现在所有harness，记忆，自进化相关论文基本无用。

想要做出一个产品肯定都是直接调研和分析所有热门相关产品了，如harness这里的 dsh opencode pi codex claude-code。

记忆方面学术界抓着人类这套 情景记忆 什么根本不使用当前 LLM 的记忆架构设计，根本落地不了或者无法推广；抓着之前被动 QA 的 benchmark，根本无法评测现在真正多轮交互的长程任务、复杂场景。写再天花乱坠都解决不了这个问题；抓着被动 BM25 Retrieval 等非 agent-native 的工程设计不放，迟早被 the bitter lesson 所指的被下一代模型取代。

什么所谓的自进化harness系统，不同步更新模型参数只会越来越陷入局部最优无法泛化。更新现在也不提供开箱即用的infra设施，只是打几个小模型、简单benchmark的话几乎无任何价值，大厂照样得自己从零实现一套。

harness也是，看matt的skills就知道现在模型需要的skills迭代有多快了，现在强制verify，merge必须手动merge而不是绿了就行，这些都退役了，两个月前还都是必须要的。

模型架构方面的看的不多，不过感觉和具身智能一样，现在有好的想法太容易了，最难得是是否可以落地，以及是否有资源落地、做消融实验、scale起来。之前和中科院搞分子合成的朋友聊天，AI4S最难的一个问题是缺少便宜verifier可以快速rollout训练用。想要有资源大量rollout / verify 还是得大厂。这还只是做实验给论文提供数据，真正想要“可用”还是和之前说的一样只能让某frontier ai lab可以把能力训练进来模型参数内

感到悲观，这两年在想要不要读研究生，但不读研究生感觉也拿不到资源。。。

[Phoenix Yin @Phoenixyin13]

在机器学习和信息论中，有一个著名的直觉叫流形假说。

现实世界产生的数据，在名义上往往拥有极高维度：一张高清图片可能对应数百万个像素维度，自然语言、声音、蛋白质序列、行为轨迹也都存在于极其庞大的状态空间中。

但有意义的数据并不会均匀散落在这些空间里，它会被压缩在一个极小、极其特殊的结构区域中。
一张随机生成的百万像素图片几乎不可能恰好构成一张真实人脸，因为自然图像同时受到身份、姿态、光照、透视、物体结构和物理规律等大量约束。
流形，只是这种低复杂度结构的一种几何表达，更一般地说，机器学习真正能够成立，是因为现实世界的数据根本不是随机噪声。

这也是理解智能最重要的起点。
智能存在的第一条件，在于这个世界必须具有可预测结构。
假如一个宇宙中的未来和过去完全独立，那么无论是人脑、Transformer还是无限大的超级计算机，都无法通过观察过去提高对未来的预测，因为这个世界根本没有留下任何可以学习的规律。
白噪声无法被理解，也无法被预测。
因此，智能能够存在，本身就意味着宇宙不是最大随机性的混沌，而包含大量跨尺度稳定的统计依赖、几何约束、组合结构、动力学规律和因果关系。

从这个角度看，机器学习做的事情是在巨量观测中寻找可以压缩的规律。
模型看过十亿张人脸，并不需要在参数里存储十亿份像素副本，它需要形成的是关于身份、轮廓、姿态、光照、空间关系等潜在变量的生成结构，最终用一个远短于全部训练数据本身的模型去近似。
因此，Learning在很深的意义上就是Compression。
如果一个庞大的数据集合能够被一个更短的生成程序描述，那么模型获得的就是规律。这与Kolmogorov Complexity的直觉高度一致。
生成或描述这些数据所需的最短程序究竟有多长，是一个重要的问题。

但是，数据不均匀本身仍然不足以产生智能。一个变量即使99%的概率取0、1%的概率取1，它的分布极度不均匀，却未必具有任何复杂结构。
重要的是变量之间存在可以利用的依赖。知道 (X) 之后，是否能够减少对 (Y) 的不确定性，这才是信息。
Mutual Information (I(X;Y)) 所度量的，本质上正是这种关系。
所以，智能依赖的是世界内部存在稳定的dependency；
统计规律、几何结构、层级结构、因果关系以及时间上的连续性共同构成了学习能够发生的基础。

这也给出了理解大模型的一种更准确方式。
一个随机初始化的神经网络最初只是一个巨大的、没有意义的函数族，而梯度下降不断利用数据排除那些与现实分布不一致的函数。
经过海量训练之后，原本随机的参数逐渐形成高度结构化的内部表征。
语言结构、空间关系、人物与概念关系、程序结构和部分物理规律也进入其中。

这里，我们不能简单说神经网络与现实世界同构。因为同构是一个过于严格的数学概念。
其实，模型是在自己的计算介质中形成了一套能够保存现实世界部分稳定关系的内部表示。
它是世界结构在另一种介质中的压缩投影。

于是，所谓智能涌现也没有那么神秘。
如果模型只能捕捉局部统计相关性时，它表现为模式匹配；
当它能够形成更长程、更抽象、更稳定的表示时，就出现泛化；
当不同领域的内部结构能够被重新组合，就表现为类比和联想；
当模型能够利用已有结构，对训练数据中没有直接出现过的状态进行推断，就表现为推理。

记忆、泛化、类比和推理，只是同一种机制在不同尺度上的表现：利用一个内部世界模型，在未观测区域重建结构。
模型规模之所以重要，是因为复杂世界需要足够大的函数空间才能被表示。
而某些能力的突然涌现，有时只是评价指标造成的阈值效应，有时也可能对应grokking或内部表示重组这样的真实非线性变化。
我想，我们需要更多地去关注参数空间在学习过程中发生了什么结构重组，使新的计算能力成为可能。

如果继续把这个问题推到信息论和统计物理层面，会得到更加统一的图景。
生命，依靠持续消耗自由能维持自身远离热平衡，而大脑和机器同样需要消耗能量进行信息处理。
由于Shannon entropy和热力学熵并不是同一个概念，我们可以更准确地定义，智能系统不断丢弃与任务无关的变化，同时保存对于预测和行动有价值的信息。

这与Information Bottleneck极其接近。
内部表示并不需要保存输入的一切，而只需要保留足够多能够预测未来、指导行为的结构。高级智能的标志，是知道什么必须留下，什么可以被遗忘。

由此，智能可以粗略地被写成Compression、Prediction、Control。
Compression意味着从海量观察中提取规律，Prediction意味着利用这些规律推断尚未看到的世界，Control意味着利用预测去改变未来。
一个有限的系统面对一个远比自身复杂的宇宙，通过观察世界、压缩世界、建立内部模型，再依靠这个模型预测并干预世界，这就是智能最一般的形式。

[alittlebear @alittlebear]

@ItsmeAjayKV @AtriaASI tb21 looks low

[alittlebear @alittlebear]

@mylifcc 好奇这套协同进化是否可以应用到SOTA大模型的真实训练pipeline来，然后公司把最终完善的harness作为自家harness产品的默认设置

[alittlebear @alittlebear]

@SnowyWar36965 awm虫

[alittlebear @alittlebear]

@mylifcc 以及监护人感觉每次都从头审计一遍比较好，不然监护人也是越来越混乱。我都是定时每2小时派一下codex exec直接审计。主要工作也是两个claude sessions，一个看另外一个，然后被看的所有实际工作都给subagents

[alittlebear @alittlebear]

@mylifcc 感觉可以让这个session收尾，重新开一个session继续

[alittlebear @alittlebear]

@zainhas gemini 3.8 flash looks so high

[DAIR.AI @dair_ai]

Great paper on self-evolving agent harnesses.

Self-evolving agent harnesses have two practical problems:

1. Search is slow, because every candidate harness needs repeated agent runs and code edits.

2. Fixes overfit, because each failure is patched as if it were a harness bug, even when the model caused it.

Ecdysis analyzes failures across a batch of tasks and repairs only patterns that recur.

Several diagnostic roles agree on a change specification before any code is modified.

Harness training runs up to 1.84x faster than existing harness evolution methods, and the resulting harnesses gain 18.56% in reasoning accuracy. They also transfer better across LLMs, use fewer tokens, and match full-data training with a quarter of the data.

Paper: https://t.co/RLavkddIxv

Chat with Paper: https://t.co/TytRqgoC4P

[alittlebear @alittlebear]

@akazwz_ 基本上88%就到顶了，剩下的都有task description或者erifier不准确导致的评分无法覆盖所有实现的问题 / 误导模型的问题

[alittlebear @alittlebear]

@akazwz_ api和tool schema啥的能力吧，现在用比如说ultrafast特别容易卡在工具调用等待，发挥不出模型速度的能力，现在异步tool call基本上就不会被卡住。askUser也是不希望一直跑因为askUser卡住

[alittlebear @alittlebear]

@teortaxesTex engram... encoder-decoder... damn I love this structure