yeshu

🚶Always be curious about new things.

[yeshu @yeshu_in_future]

@thomsonYang_147 最好的 token 能做的事情和质量已经远远超出前几年的想象了

[yeshu @yeshu_in_future]

@fkysly 人脑很容易过载，而且很难并行

[Boris Cherny @bcherny]

I'm Boris and I created Claude Code. Lots of people have asked how I use Claude Code, so I wanted to show off my setup a bit.

My setup might be surprisingly vanilla! Claude Code works great out of the box, so I personally don't customize it much. There is no one correct way to use Claude Code: we intentionally build it in a way that you can use it, customize it, and hack it however you like. Each person on the Claude Code team uses it very differently.

So, here goes.

[yeshu @yeshu_in_future]

一个普通人充满变化的 2025 年。

https://t.co/857TToWvy3

[yeshu @yeshu_in_future]

尝试了一下灵光，排版效果、响应速度、图表增量加载+可交互体验很好，加上可以想象的背靠蚂蚁的语料积累，在金融问答上是目前接触到综合体验最好的AI 产品了。
如果将来能支持更长时间的深度研究任务就好了

[Andrej Karpathy @karpathy]

I quite like the new DeepSeek-OCR paper. It's a good OCR model (maybe a bit worse than dots), and yes data collection etc., but anyway it doesn't matter.

The more interesting part for me (esp as a computer vision at heart who is temporarily masquerading as a natural language person) is whether pixels are better inputs to LLMs than text. Whether text tokens are wasteful and just terrible, at the input.

Maybe it makes more sense that all inputs to LLMs should only ever be images. Even if you happen to have pure text input, maybe you'd prefer to render it and then feed that in:
- more information compression (see paper) => shorter context windows, more efficiency
- significantly more general information stream => not just text, but e.g. bold text, colored text, arbitrary images.
- input can now be processed with bidirectional attention easily and as default, not autoregressive attention - a lot more powerful.
- delete the tokenizer (at the input)!! I already ranted about how much I dislike the tokenizer. Tokenizers are ugly, separate, not end-to-end stage. It "imports" all the ugliness of Unicode, byte encodings, it inherits a lot of historical baggage, security/jailbreak risk (e.g. continuation bytes). It makes two characters that look identical to the eye look as two completely different tokens internally in the network. A smiling emoji looks like a weird token, not an... actual smiling face, pixels and all, and all the transfer learning that brings along. The tokenizer must go.

OCR is just one of many useful vision -> text tasks. And text -> text tasks can be made to be vision ->text tasks. Not vice versa.

So many the User message is images, but the decoder (the Assistant response) remains text. It's a lot less obvious how to output pixels realistically... or if you'd want to.

Now I have to also fight the urge to side quest an image-input-only version of nanochat...

[yeshu @yeshu_in_future]

@thomsonYang_147 少了个 3🤣

[yeshu @yeshu_in_future]

看来团队对隐私数据的敏感度挺低的。
点对点分享的数据，变成在互联网上公开可见，产品方和用户方的预期是不一致的，权限范围界定不够清晰。
当然，这个场景可能不需要像我们之前做协同文档的时候那么苛刻。
但至少在分享的时候，可以加个提示，不是吗？

[沉浸式翻译 @immersivetran]

@GnuDoyng 非常感谢您关注沉浸式翻译，关于您说的隐私问题，已经有谷歌seo专家做了分析，如果您有时间的话，可以看一下这个链接：https://t.co/af3bx5uNRV

[yeshu @yeshu_in_future]

@thomsonYang_147 +1

[yeshu @yeshu_in_future]

@thomsonYang_147 我就俩号，手动刷一刷

[yeshu @yeshu_in_future]

云南是个好地方，下次还去

https://t.co/YoAvoshvXn

[yeshu @yeshu_in_future]

早上被老板电话叫醒瞬间进入工作状态😭回京就感觉自己班味儿上身了。
不过发现了一笔年前的意外之财，开心

[yeshu @yeshu_in_future]

第一章：数据尸体

[yeshu @yeshu_in_future]

写作小白和 deepseek 创作万字悬疑短篇

我负责世界观，deepseek R1 帮我完善细节并搭建章节大纲，协力完成了小说的第一章。

markdown 转图片导出使用的自研小工具。

[fin @fi56622380]

看了下DeepSeek论文，做了点笔记和思考

DeepSeek降低训练成本会不会让算力需求下降？看历史就知道了，GPT4级别token价格在一年半之内降低了100~1000倍，也没有类似的担忧(如图)

AI算力通缩是必然现象，长线旋律就是十年加速六个数量级：软件/算法加速三个数量级，硬件加速三个数量级

------------------------------
先从DeepSeek R1论文本身说起

Deepseek本身并没有像chatgpt o1那样做test time scaling获得更强推理能力，属于post-training后训练范畴，看起来和chatgpt o1不是一个路子(o1是推理的时候专门扩大“思考步骤”或“搜索过程"再挑出最优，推理时耗费比o4高几个数量级)，只不过在benchmark/推理水平上达到了相同的水平

所以从推理token价格来说，deepseek和o1比降低了27倍也是合理的。

DeepSeek-R1 是在 “DeepSeek-V3-Base” 这个预训练好的模型上进行 RL强化学习，reward机制是基于规则的奖励(rule-based reward system)，而不是普遍使用的过程奖励process neural reward model或者靠纯结果outcome

规则奖励分两个部分：
• 准确性奖励（Accuracy Reward）： 对于有确定答案的问题，评估模型生成的答案是否正确。
• 格式奖励（Format Reward）： 确保模型在回答中遵循指定格式，比如说

<think> 推理过程 </think>
<answer> 最终答案 </answer>

可能是因为对推理过程有规则奖励，也“涌现”出了生成推理过程的“顿悟时刻（Aha Moment），模型自己生成的CoT过程越来越长，还学会了反思(reflection)，和自我纠错和exploration探索举动，这都是提高推理能力的普遍过程

DeepSeek-R1主要贡献是证明 LLM 可以在无监督数据的情况下，通过强化学习RL提高推理能力

通过这个“规则奖励”以及GRPO，不需要大量人工编写/标注复杂的 CoT 数据来提高推理能力，直接把模型推理能力提高到o1水平，同时成本还很低

-----------------------
为什么这个RL提升推理能力的方法以前没人试过呢？

其实两年前就试过了(伯克利)，但当时只有LLAMA第一代模型能力不足，GSM8K跑分都非常低，推理和数学能力太低。那个时候LLAMA2-HF效果好得多，因为在预训练语料里已经有一些CoT的文本，所以后来的RL可以直接利用并强化这些“人类式思考”的片段，而早期模型往往生成的推理过程非常混乱。

另外早期基准（GSM8K等）太简单，模型可能能“轻松”地蒙中答案、或者通过一些相对简单的做法就拿到高分。
当任务足够难，模型只有先探索/反思/纠错，才能更稳定地拿到正确解答，RL才会往这个方向去“逼”模型学会更复杂的思维过程

-----------------------
还有一个scalable的问题很重要，DeepSeek-R1的低成本训练方法如果继续加大模型规模、增加算力，用相同或类似的 RL 训练流程，能不能进一步提升性能？

理论上看起来是可以的，R1论文里也说需要更大规模的RL和更大的base model来推进frontier(如图)。从这一段来看，说DeepSeek-R1是从o1蒸馏而来也是不对的

如果DeepSeek-R1的低成本训练方法能够scalable，那么说明这是广义上scaling law的另一个进步 -- 一个新的S型曲线来维持scaling law的延续(on track)

---------------------------------
再来说说DeepSeek对算力的影响

这一轮算力军备竞赛的起点和动机是，scaling law带来的性能提升没有看到天花板(confirmed by Mark)，所以大家才会疯狂的投入，这是和以前都不一样的地方

所以关键问题不在于deepseek用十分之一的算力取得了相同的结果，而是Deepseek的方法能不能scalable，给scaling law续命，这才是决定性因素

只要scaling law还能继续，在AI上的capex就只会继续增加

就像摩尔定律一样，只要摩尔定律继续延续，芯片的市场会增大，在芯片制程上的研发成本就会持续增加

Deepseek降低成本训练方法可以scaling，可以看作是一个新的S型曲线，让AI界的摩尔定律延续：随着规模的增大，模型性还能变得更好

类比到芯片里，如果芯片里突然有一项开源技术，让所有芯片的单位面积上容纳的gate数量原地翻倍，会有人担心台积电订单减半吗？

不会

如果发生这种情况，最开心的就是所有的fabless芯片设计厂商，Intel/AMD/qualcomm马上就能设计出新一代性能翻倍的芯片，那消费电子的换机潮岂不是要疯狂

消费电子的OEM也会开心，手机和电脑换代得卖疯了。

还是那句话，AI算力属性本来就是指数型通缩的，长线来看就是十年加速六个数量级，软件/算法加速三个数量级，硬件加速三个数量级

软件/算法的加速意思是用更少的资源去实现相同的效果(正如DeepSeek R1)，硬件的加速包括半导体工艺提升，架构提升，以及带宽/互联和规模提升带来芯片的算力加速(算力提升)

现在训练一个GPT4级别的成本，和两年前比起来，恐怕还不到十分之一

会有各种新的方法去延续这个AI算力指数级加速，正如引文里说的那样，每一种方法都是一个新的S曲线，很多个技术曲线的scaling law前赴后继的组成了一道一道S型技术曲线，累积叠加维持指数级增长的幻象

性能提高的同时成本的指数型降低，带来的是AI应用门槛的指数级降低，一定会让整个生态更加繁荣，诞生出更多需求

我们只需要看，最近有没有新方法维持十年加速六个数量级的进展？如果没有，那才是需要担心AI停滞的时候

[yeshu @yeshu_in_future]

@tualatrix 西溪园区旁边就是

[yeshu @yeshu_in_future]

@fkysly 哈哈哈阿里不还能半年呢

[yeshu @yeshu_in_future]

昨晚美股开盘做了几个操作：
1. 短期做多 VIX
2. 远期做多币股
3. 短期做空 NVDA vega
4. 平了几张卖的Call

本周交易目标提前达成，安心过年。

大家新年快乐🎉

[yeshu @yeshu_in_future]

感谢大家又一年的陪伴。
新的一年我正在搭建更稳定的内容输出系统，争取多多输出，能给大家带来更多启发。

https://t.co/YPf4LfjUUK

[yeshu @yeshu_in_future]

花了将近一天的时间排查一个线上问题，抽丝剥茧各种尝试以后，最后发现在 Safari 浏览器下面 IME 输入触发的 keydown 事件比 change 事件晚，顺序和规范不一致。
虽然过程很痛苦，但问题终于解决的时候，是真的很快乐😌