bitk

[酱紫表 @pengchujin]

用 AI 给国产电视开发了一个干净的「苹果」桌面：没有广告、没有推荐流，只有大大的 App、时钟和漂亮的壁纸，以及 Apple TV 上的 4K 高清屏保。

支持 Agent 自动部署，开机自动启用不用手动打开。永久开源、免费、无广。官网：https://t.co/DbMG99dSOy

[Massimo @Rainmaker1973]

How a simple paper glider stays aloft using steady airflow and basic aerodynamics

[Massimo @Rainmaker1973]

Inside a human brain when reading a book.

[Massimo @Rainmaker1973]

Pascal’s Law in action

[鱼总聊AI @AI_Jasonyu]

这是我目前为止见过的最好的解释大模型原理的视频，没有之一。

而且视频做的非常有意思，估计是 opus 5.5 生成的？

原视频来源于抖音博主：在公司楼下捡钱

[Kin @KinGao476942]

https://t.co/mgqqVhohv7

[bitk @BirkNowitski]

@bakchodvakeel sb

[bitk @BirkNowitski]

@zhoujunhong2024 傻逼

[Massimo @Rainmaker1973]

To maintain this hunting posture, the a kestrel flies into, and at the same speed as, the oncoming wind – the current of air passing over its wings provides the lift it needs.

[bitk @BirkNowitski]

@VoiceShanghai 一群傻逼

[bitk @BirkNowitski]

@SSSY2019 @alcab_ @grok 哈哈哈，傻逼

[lifcc @mylifcc]

如果 AI 把大部分人的工作都替掉了，没人拿工资，那 AI 生产出来的东西到底卖给谁？

这个问题听起来很简单，但继续往下推，会撞到 AI 经济学里一个很大的漏洞：企业 individually 有动力自动化，全社会一起自动化，结果未必一样。

Luca Fornaro 与 Martin Wolf 在 2026 年的《Macroeconomic Policies for AI》中严格论证了这种状态——AI 驱动型萧条（AI-driven slump）。

其核心机制并不是简单的“机器抢工作”，而是一场无可挽回的宏观合成谬误（Fallacy of Composition）：

企业视角（个体最优）： 任何一家理性企业采用 AI 替代劳动力、压降边际成本，都是教科书级的占优策略；

宏观总和（集体恶化）： 当所有企业同步推行这一理性决策时，宏观经济中的工资总额（Wage Bill）断崖式下跌。在传统经济中，劳动报酬占 GDP 的比重（Labor Share of Income）是维系居民端总需求的最核心支柱。

个体企业用 AI 裁员降本 ──> 行业全盘跟进 ──> 全社会总劳动报酬萎缩 ──> 居民终端消费能力骤降 ──> 产能过剩/反噬企业营收

这就是典型的合成谬误：每一个决策在局部都是完全正确的，加总起来却使整个系统滑向不可维系的深渊。

[lifcc @mylifcc]

通向 AGI 的路径，真的只能靠语言（LLM）吗？

最近牛津、OpenAI、DeepMind、斯坦福等联合发布了一篇极具启发性的白皮书——《Visual General Intelligence: A White Paper》（arXiv: 2608.25924）。

几个非常颠覆的核心洞察，整理给大家：

1. 智能真的等于语言吗？
人类语言的历史在生命长河中不过一瞬间，但复杂的生物视觉早在 5 亿年前的寒武纪就诞生了。视觉不仅是一个“输入传感器”，它本身就是理解物理规律、空间几何和因果关系的底座。

2. 为什么是“视频生成”而不是分类？
论文提到，做图像分类太容易让模型“偷懒”（看见草地就猜是牛）。但视频生成是极难的自监督任务：光影、遮挡、3D几何、时空连续性……只要错一点画面就崩塌。这种严苛的预测目标，会逼迫模型真正去理解“物理世界运行的法则”。

3. VGI（视觉通用智能）的新范式
我们熟悉了用 Next-token prediction 扩展 LLM，那当视频、4D时空数据也被暴力 Scaling 时，视觉模型是否也会产生震撼的“能力涌现（Emergence）”？
比起把视觉简单地当作 LLM 的挂件（多模态插件），或许从纯视觉/视频模型出发，本身就能走出一条通往物理世界 AGI 的独立之路。

[Alex Veremeyenko @alex_verem]

Researchers at Oxford argue that LLMs can't invent anything.

It's impossible mathematically.

The paper is called "Theory Is All You Need."

Teppo Felin and Matthias Holweg take the famous "Attention Is All You Need" title and flip it. Their argument is that AI predicts from the past, while humans reason forward into the future, and those are two different kinds of thinking.

Start with the numbers. The authors estimate a large language model trains on roughly 13 trillion tokens. A human reading at 150 words a minute would need about 164,000 years to get through that. A child hears around 20,000 words a day and roughly 36.5 million words in their first five years. It's the same task with wildly different data, and the child still ends up with language that goes far beyond anything they heard.

Their point is that the model learns which words tend to follow other words. It becomes a mirror of what people have already written. It doesn't build a theory of how the world works, so it can't step outside its training data.

The paper's sharpest thought experiment makes this painful. Imagine an LLM trained in 1633 on every scientific text ever written up to that point. Ask it about Galileo and heliocentrism. Thousands of years of geocentric texts would swamp Galileo's ideas, so the model would tell you he's wrong. It would also rate Tycho Brahe's astrology as more credible than the idea that the Earth moves, because more people had written about astrology.

Then there's flight. In 1888 the scientist Joseph LeConte looked at bird data, noted that no bird above 50 pounds could fly, and concluded humans couldn't either. Lord Kelvin, then president of the Royal Society, said he had not the smallest molecule of faith in aerial navigation.

The New York Times estimated in 1903 that flight was one to ten million years away.

Nine weeks later the Wright brothers flew.

The Wrights didn't have better data. They had a theory. They broke flight into three problems, lift, propulsion, and steering, built their own wind tunnels, and generated the data that didn't exist yet.

Wilbur wrote in 1900 that he had been "afflicted with the belief that flight is possible to man."

Every prediction machine on Earth would have told him no.

The authors call this the data belief asymmetry. Every real breakthrough starts with someone believing something the existing data says is wrong. A system trained to minimize surprise can't do that by design.

They're not anti AI. They say AI will win at routine, repetitive decisions that extrapolate from the past, which is most decisions. They're just pushing back on the idea that you should replace humans with algorithms whenever possible, which is a direct quote from Kahneman.

I use these models every day and this matches what I see. The new stuff comes from the human at the keyboard who decides the data is wrong.

LLMs don't think, you do!

[bitk @BirkNowitski]

@WanjunXie 哈哈哈哈 大家快来看傻逼

[Phoenix Yin @Phoenixyin13]

在机器学习和信息论中，有一个著名的直觉叫流形假说。

现实世界产生的数据，在名义上往往拥有极高维度：一张高清图片可能对应数百万个像素维度，自然语言、声音、蛋白质序列、行为轨迹也都存在于极其庞大的状态空间中。

但有意义的数据并不会均匀散落在这些空间里，它会被压缩在一个极小、极其特殊的结构区域中。
一张随机生成的百万像素图片几乎不可能恰好构成一张真实人脸，因为自然图像同时受到身份、姿态、光照、透视、物体结构和物理规律等大量约束。
流形，只是这种低复杂度结构的一种几何表达，更一般地说，机器学习真正能够成立，是因为现实世界的数据根本不是随机噪声。

这也是理解智能最重要的起点。
智能存在的第一条件，在于这个世界必须具有可预测结构。
假如一个宇宙中的未来和过去完全独立，那么无论是人脑、Transformer还是无限大的超级计算机，都无法通过观察过去提高对未来的预测，因为这个世界根本没有留下任何可以学习的规律。
白噪声无法被理解，也无法被预测。
因此，智能能够存在，本身就意味着宇宙不是最大随机性的混沌，而包含大量跨尺度稳定的统计依赖、几何约束、组合结构、动力学规律和因果关系。

从这个角度看，机器学习做的事情是在巨量观测中寻找可以压缩的规律。
模型看过十亿张人脸，并不需要在参数里存储十亿份像素副本，它需要形成的是关于身份、轮廓、姿态、光照、空间关系等潜在变量的生成结构，最终用一个远短于全部训练数据本身的模型去近似。
因此，Learning在很深的意义上就是Compression。
如果一个庞大的数据集合能够被一个更短的生成程序描述，那么模型获得的就是规律。这与Kolmogorov Complexity的直觉高度一致。
生成或描述这些数据所需的最短程序究竟有多长，是一个重要的问题。

但是，数据不均匀本身仍然不足以产生智能。一个变量即使99%的概率取0、1%的概率取1，它的分布极度不均匀，却未必具有任何复杂结构。
重要的是变量之间存在可以利用的依赖。知道 (X) 之后，是否能够减少对 (Y) 的不确定性，这才是信息。
Mutual Information (I(X;Y)) 所度量的，本质上正是这种关系。
所以，智能依赖的是世界内部存在稳定的dependency；
统计规律、几何结构、层级结构、因果关系以及时间上的连续性共同构成了学习能够发生的基础。

这也给出了理解大模型的一种更准确方式。
一个随机初始化的神经网络最初只是一个巨大的、没有意义的函数族，而梯度下降不断利用数据排除那些与现实分布不一致的函数。
经过海量训练之后，原本随机的参数逐渐形成高度结构化的内部表征。
语言结构、空间关系、人物与概念关系、程序结构和部分物理规律也进入其中。

这里，我们不能简单说神经网络与现实世界同构。因为同构是一个过于严格的数学概念。
其实，模型是在自己的计算介质中形成了一套能够保存现实世界部分稳定关系的内部表示。
它是世界结构在另一种介质中的压缩投影。

于是，所谓智能涌现也没有那么神秘。
如果模型只能捕捉局部统计相关性时，它表现为模式匹配；
当它能够形成更长程、更抽象、更稳定的表示时，就出现泛化；
当不同领域的内部结构能够被重新组合，就表现为类比和联想；
当模型能够利用已有结构，对训练数据中没有直接出现过的状态进行推断，就表现为推理。

记忆、泛化、类比和推理，只是同一种机制在不同尺度上的表现：利用一个内部世界模型，在未观测区域重建结构。
模型规模之所以重要，是因为复杂世界需要足够大的函数空间才能被表示。
而某些能力的突然涌现，有时只是评价指标造成的阈值效应，有时也可能对应grokking或内部表示重组这样的真实非线性变化。
我想，我们需要更多地去关注参数空间在学习过程中发生了什么结构重组，使新的计算能力成为可能。

如果继续把这个问题推到信息论和统计物理层面，会得到更加统一的图景。
生命，依靠持续消耗自由能维持自身远离热平衡，而大脑和机器同样需要消耗能量进行信息处理。
由于Shannon entropy和热力学熵并不是同一个概念，我们可以更准确地定义，智能系统不断丢弃与任务无关的变化，同时保存对于预测和行动有价值的信息。

这与Information Bottleneck极其接近。
内部表示并不需要保存输入的一切，而只需要保留足够多能够预测未来、指导行为的结构。高级智能的标志，是知道什么必须留下，什么可以被遗忘。

由此，智能可以粗略地被写成Compression、Prediction、Control。
Compression意味着从海量观察中提取规律，Prediction意味着利用这些规律推断尚未看到的世界，Control意味着利用预测去改变未来。
一个有限的系统面对一个远比自身复杂的宇宙，通过观察世界、压缩世界、建立内部模型，再依靠这个模型预测并干预世界，这就是智能最一般的形式。

[bitk @BirkNowitski]

@heguisen 滚回你妈逼里去

[Eron @0xEronn]

Gradient descent doesn't find the global minimum - it finds whatever valley it falls into first. Every LLM trained today gets stuck in a local minimum and nobody can prove the solution it found is anywhere near optimal. The loss landscape of GPT-4 has more dimensions than atoms in the observable universe.

Convex optimization guarantees a global minimum exists and gradient descent finds it. Non-convex optimization - the kind every neural network uses - offers no such guarantee. The entire field of deep learning is built on the empirical observation that local minima are good enough.

22 minutes. Bookmark & watch today. The math behind every AI training run - and why nobody fully understands why it works.

[bitk @BirkNowitski]

@LIGHTSEEKER1984 烟鬼死🐴

[bitk @BirkNowitski]

@nytchinese 王亚秋这个老婊子