Lu

[Andrej Karpathy @karpathy]

- Drafted a blog post
- Used an LLM to meticulously improve the argument over 4 hours.
- Wow, feeling great, it’s so convincing!
- Fun idea let’s ask it to argue the opposite.
- LLM demolishes the entire argument and convinces me that the opposite is in fact true.
- lol

The LLMs may elicit an opinion when asked but are extremely competent in arguing almost any direction. This is actually super useful as a tool for forming your own opinions, just make sure to ask different directions and be careful with the sycophancy.

[Michael Guo @Michaelzsguo]

今天来去上班的路上听完陶哲轩的播客，里面有几点take- away：

第一，他用开普勒和牛顿的对比来类比今天的 AI。开普勒像一个“高温度”的模型，花了二十年不断尝试各种看起来甚至有点随机的关系，只为拟合天文数据。他找到了“是什么”，也就是行星运动三定律，但并不知道“为什么”。牛顿后来才给出统一理论，用运动定律和万有引力解释了开普勒的经验规律。陶哲轩的意思很清楚：今天 AI 正在把“想法生成”和“经验规律发现”的成本压到极低，但真正稀缺的，已经变成验证、证伪，以及提出更深层统一理论的能力。AI更像开普勒，不是牛顿。

第二，他区分了 artificial intelligence 和 artificial cleverness。现在的 AI 更像一种“人工聪明cleverness”，擅长single shot地跨过某些局部难题，擅长广度、套路化任务、以及从数据里提取信号的巧劲。但真正的 intelligence 不只是聪明，而是适应、积累、迭代提升。人类解决问题，往往不是一次跳过去，而是在合作中不断标记什么行不通、保留局部进展、在此基础上继续往上爬。现阶段的 AI 还缺少这种持续成长和跨阶段积累的能力。

第三，他谈到自己如何学习新数学领域，方法即使对我们这样的普通人也有启发。一个是合作，主动和别的领域的数学家交朋友，让他们带自己入门。一个是广度，他说自己更像 Isaiah Berlin 所说的 fox，而不是 hedgehog，不是把一个点钻到极深，而是对很多方向都保持理解和好奇。还有一个很重要，就是写作。他强调把学到的“有意思的东西”写下来，因为如果不记录，几个月后真的会忘掉，等���辛苦获得的认知又流失了。写作不只是输出，更是知识存档。这几点对于我们在X上Build，学习和分享都很有同感。

第四，他特别强调 serendipity，也就是偶然性的重要。他认为把生活和研究过度优化，反而会损害创造力。去图书馆随手翻到一本书，走廊里和人随便聊几句，这些看似低效率的随机性，恰恰会把人推出舒适区，带来新的灵感。人其实需要某种“高温度”的扰动，才不至于陷入无聊和思维枯竭。这也呼应前面开普勒的例子：大量带随机性的尝试，本身就是通向突破的一部分，前提是你还有验证结果的能力。陶哲轩担心的是，当我们把一切都变成数字化、搜索优化和效率优先时，也许正在失去那些真正推动长期科学创造力的偶然发现。

[dotta 📎 @dotta]

We just open-sourced Paperclip: the orchestration layer for zero-human companies

It's everything you need to run an autonomous business: org charts, goal alignment, task ownership, budgets, agent templates

Just run `npx paperclipai onboard`

https://t.co/wuDdEmrSMx

More 👇

[Coinbase Developer Platform🛡️ @CoinbaseDev]

Introducing Agentic Wallets, our first ever wallet infrastructure built specifically for autonomous agents.

Give your agent the power of a wallet. Let your agent manage funds, hold identity, and transact onchain without human intervention. 🧵

[Shane Gu @shaneguML]

If you are an AI safety researcher, book a flight ticket to Tokyo now and watch the "AI dog in chain" art exhibition. Our pre-training data is evolution and mostly physical intelligence. It's the best way to witness and ponder on the meaning of AI safety.

[Denny Zhou @denny_zhou]

@Yuchenj_UW Scaling laws hit a wall. Human innovation doesn’t.

[Andrej Karpathy @karpathy]

I’m starting to get into a habit of reading everything (blogs, articles, book chapters,…) with LLMs. Usually pass 1 is manual, then pass 2 “explain/summarize”, pass 3 Q&A. I usually end up with a better/deeper understanding than if I moved on. Growing to among top use cases.

On the flip side, if you’re a writer trying to explain/communicate something, we may increasingly see less of a mindset of “I’m writing this for another human” and more “I’m writing this for an LLM”. Because once an LLM “gets it”, it can then target, personalize and serve the idea to its user.

[DiscusFish @bitfish]

😭

[DiscusFish @bitfish]

最佳方案往往高估了收益（优化者的诅咒）→ 几次没出事就把冒险当本事（偏差常态化）→ 越自信越敢赌（风险补偿）
每个"成功的优化"都在悄悄削薄你的安全边际。
最肥的火鸡，感恩节前一天还在庆祝自己的"最优生存策略"。
宁可"差不多"地活着，别"完美"地死去。

[fin @fi56622380]

AI时代和互联网时代的运行逻辑和模式有什么不一样？

最近一直在思考这个问题，也在尝试从时间线拉长的角度去看一看

两年前的GTX大会，老黄po出来的这张图宣布了时代大幕的拉开，PC时代->互联网时代->AI时代，每一个时代前期的硬件大基建时代开始了，可能又是一次cisco时代涨潮退潮的故事重现

cisco时代基建一旦搭好，后续基建需求就减小太多了，相当于管道搭好了，互联网公司在管道上面搭各种各样的应用(即便是infra要扩容)，大都是一次性的建设费用，之后的折旧周期也很长，cisco于是在短暂的互联网时代前期爆发之后迅速成了弃儿，如果2000年买入那么直到2021年才回本，大幅跑输SP500

移动互联网也是一样，手机SoC的基建一旦搭起来，每年能卖出去的手机量基本上是固定的，所以高通成了过去十多年来半导体领��最具有illusion的差劲投资，移动互联网经济的繁荣没有给高通带来多少增量，底层基建只有基本的手机例行换代升级更新

但两年后现在回过头来看，AI时代也许无法直接套用之前的经验。逻辑是不一样的，training训练基建并不是一次性的，日常使用的费用远远超过互联网时代，GPU的超负荷使用导致其寿命两三年就要换新，而且价格及其昂贵。

为什么Meta用人均上亿美元签字费的代价挖来那么多顶尖AI人才来做基础模型？是不是冤大头？

从Meta的infra高成本来看是有道理的，因为Meta在GPU基建上的投入一年70B而且还一直在增长，甚至要亲自下场去做GW级别的数据中心，那么投入3~5B去招募一群世界上最懂的人去用好一年70B的顶级奢侈品GPU data center，就显得是非常必要的了，三五十亿美元招募费相比而言甚至是非常划算的事情

在Google/OpenAI，Compute-per-Researcher已经是重要管理KPI，Meta花了几亿买人，说对应的算力必须要匹配齐全，这个说法反过来就能理解Meta高价挖人的初衷：每年花近千亿买GPU，对应的技术人才必须要匹配到位

在大厂做fundation Model training的这部分人(特别是pretraining)和SDE不一样，甚至和十年前才产生的新工种MLE也不一样，已经是一个完完全全由这个时代产生的新工种了：算力花销收益率管理人，没有千卡集群的训练经验，都达不到能进行业的门槛

人类历史上第一次产生了一种，由少数几十上百个人去操作每年花销相当于一个国家GDP(100B级别=克罗地亚/哥斯达黎加)的机器大军的新工种

在互联网时代，Google，Amazon，Facebook都是不需要在���建上承担太多压力的，只需要等互联网基建慢慢成熟，他们就能借助这个网络建立一个信息流通的商业模式，每次请求的网络和算力成本，也是边际成本极低，造成了scaling的效果极好，分发边际成本几乎为零，快速扩张的收益惊人，扩张越快收益平方上升

------
这个特质也造成了一个现象：互联网企业的最大OPEX成本都是SDE人工成本，这就是典型的第三产业服务产业的特征，这也是SDE过去十五年黄金时代可以随着业务不停扩张而薪资水涨船高的重要原因

互联网时代的稀缺资源是软件工程师的工作时间，财报的重头是OPEX工资，护城河是网络规模效应和无限复制接近零的分发成本，Google/FB也自建数据中心，但CAPEX在10%左右

而LLM时代，起码是这几年，互联网公司主导稀缺资源已经是GPU+供电容量(GW级别)，财报的重头是CAPEX（MSFT CAPEX 比例33%，Meta 甚至已经快到40%了），GPU已经毫无疑问是重资产，重消耗

互联网公司历史上第一次像半导体厂foundry那样背上高折旧成本的资产负债表，商业模型恨不得要慢慢从“流量 × 转化率”部分转向“每 token 毛利”了

第三产业和第二产业的重要差别就在于需要管理重资产和持续的运营成本，互联网厂商性质会从第三产业变成“第二产业化”，打工人作为asset的价值就不会那么的宝贵，SDE溢价无上限的黄金年代可能在AI时代可能很难持续了，要尝一尝半导体行业打工人的常规待遇，比如谈薪资要的太高直接把offer谈没了

互联网公司持续把资源从人工转到GPU购买上，挤压人员的成本，削减福利+不停裁员换血，我觉得每一个互联网公司的SDE打工人，都应该买入Nvidia作为风险对冲（弥��自己被GPU挤出价值链的风险）

--------------
在AI时代，这个互联网时代边际成本几乎为零利于scalable的特性遭遇了根本性的重大挑战：且不说训练成本从此不是一次性开销而是年年增长，就客户的AI推理请求而言，由于inference scaling成为共识，加上模型本身需要更大规模来达到更好效果，推理的成本可能不会随着硬件算力价格的通缩而降低

就像当年的手机行业芯片每年的算力都在提升，照理来说续航每年都能增长一大截，但是最佳商业逻辑是在功耗满足人们能忍受的限度内（电池能用一天），尽可能提升体验，而不是维持体验不变降低功耗。不然的话，手机早就能达到待机几个月的水平了

AI时代的推理也是一样，o1的成本降低了，大家就会用体验更好的o3，gpt4o的成本两年降低了一百倍，大家就会去用gpt4.5，成本比两年前的GPT4还要高，gpt4.5一天限额只有几条。agent半年时间跑相同任务便宜了十倍，但一个新的效果更好的agent又把价格拉了回去

这个AI推理成本可能就和当年的手机芯片功耗一样，在人们能忍受的成本限度内，尽可能的提升体验。所以AI推理成本不会降低，也就是互联网时代讲究的分发边际成本会变高很多

更不说因为AI使用量的提高带来的token消耗量的巨额增长。

这也导致互联网公司在这一块的投入，也是在财报能忍受的限度内，尽可能的提高自己的算力，这可能也是为什么Google最近又提高了AI的capex到85B，其他几个互联网巨头提高capex也是理所当然可以预见的事情。这也许会带来一个前所未有的现象：在scaling law失效之前，算力开销成本增长不会低于互联网业绩增长

-------

从这个宏观背景的变化出发，也就是AI和互联网在底层算力特性上的不同出发，那么也许可以尝试推演一下，这会带来什么策略上和商业模式上的变化
（待续）

[Dovey "Rug The CNY" Wan🪐 @DoveyWanCN]

那么问题来了

4T的NVDA和4T的 crypto, 哪个低估哪个高估了

[thiccy @thiccyth0t]

https://t.co/cEvsHIHA0Z

[DonAlt @DonAlt]

I genuinely think the best way to trade is simply doing nothing 99% of the time and then sizing big once something crazy happens, take profit after a decent sized move even if you only capture half of the entire thing and continue doing nothing again

1 trade a year kind of thing

[db @tier10k]

*TRUMP: ISRAEL AND IRAN AGREE TO COMPLETE CEASEFIRE IN 6 HOURS

[Treasury Secretary Scott Bessent @SecScottBessent]

Crypto is not a threat to the dollar. In fact, stablecoins can reinforce dollar supremacy.

Digital assets are one of the most important phenomena in the world right now, yet they have been ignored by national governments for far too long.

This administration is committed to establishing the United States as a hub for digital asset innovation, and the GENIUS Act moves us one step closer to that goal.

[Winter Capital @SovereignIntern]

区块链技术是革命性的，但是受众会比较小，只有有钱人和有机会跨国的人和企业会用到它和理解它的价值，90% 的老百姓用不到也不会理解。所以它的潜在用户规模在全球人口的 10%，8 亿左右，以这个作为分母去算渗透率会靠谱些。

[foobar/ @0xfoobar]

what would you do if you had a billion dollars?

that's right, spend christmas eve arguing with AI bots on twitter

in some sense, we all live the billionaire lifestyle

[Lu @lu_eth53236]

apple感觉最合适，其实没有谁比apple更适合做Crypto wallet

[Lu @lu_eth53236]

这个周期 amazon apple msft，购买btc作为储备是大概率事件，谁会第一个吃���蟹呢

[Lu @lu_eth53236]

这个周期 amazon apple msft，购买btc作为储备是大概率事件，谁会第一个吃螃蟹呢