limit

EECS student | AI & universe | Runner (10k PB:39:30) Documenting my learning path and endurance training

[limit @limit_smith]

I have two dreams：To build a general system and to realize final intelligence.

[lumxss @bkdgiffug]

剑桥这回直接扔王炸了！！

AI & ML经典教材全集直接免费开放，PDF随便下。

想学机器学习又不想被割韭菜买高价课的，这十本刷完，底子基本就硬了。

顺序从易到难排好了：

1️⃣ 《机器学习理解》——理论算法一把抓，零基础入门首选
🔗 https://t.co/fylTw37bOl
2️⃣ 《机器学习数学基础》——数学底子弱的先把这本补上
🔗 https://t.co/yykNLQmdfv

3️⃣ 《机器学习算法的数学分析》——深入数学原理
🔗 https://t.co/MEvgkXoHYy
4️⃣ 《深度学习理论原理》——搞懂DL背后的理论根基
🔗 https://t.co/ig93KOQRPn

5️⃣ 《神经网络与机器学习》——神经网络的系统讲解
🔗 https://t.co/cTMBvJz6Ny
6️⃣ 《图深度学习》——图神经网络入门必读
🔗 https://t.co/RJeCqCstml

7️⃣ 《机器学习的算法视角》——从算法角度重新理解ML
🔗 https://t.co/VT0YnKdUdO
8️⃣ 《概率论：理论与实例》——概率基础打牢
🔗 https://t.co/NqVoIZGGYg

9️⃣ 《应用概率基础》——概率论实战应用
🔗 https://t.co/FrxqQER3mQ
🔟 《高级数据分析》——数据科学进阶必备
🔗 https://t.co/Zt74B21nrf

说句实话，这些书没一本是轻松的，别指望躺着翻完。
但只要你能硬啃下来两三本，比听群里吹一年AI牛逼都管用。

[Aiden @wohsj110]

Andrej Karpathy 在 OpenAI 和 Tesla 工作了 8 年

上周，他将自己所知的一切浓缩成一堂免费的 2 小时讲座

Agents → Loops → Graphs → Self-Improving Systems

人们花 15K 美元参加的 bootcamp 教的内容还不如这个多

这堂讲座胜过大多数付费 AI 工程课程

你现在可能没有 2 小时时间

别让它从你的 feed 里消失

去看吧

[Tao Wang @Tao100086]

接上一篇，张小珺与谢青池的访谈，谢读了 200 多篇 AI 论文，从中挑出 36 项经典论文，我让Codex整理出下载地址，放在这里分享给有需要的人。

完整节目与 Show Notes：
https://t.co/5yDzK8Z42k

他读论文的方法，带着这几个问题去读：当时遇到了什么问题？旧方法为什么不够？新工作解决了什么？它又为哪些后续技术铺了路？

下面按 4 条历史主线整理。建议第一次阅读不必逐行推公式，先看摘要、Introduction、核心图和 Conclusion，把因果链串起来。

一、模型范式的变迁
这条线回答：神经网络为什么变深、Attention 为什么出现，Transformer、MoE、推理与 Agent 又从哪里来？
Brook for GPUs（2004）
https://t.co/ZLA11RXJkp
AlexNet（2012）
https://t.co/oPXZAv8OCj
Sequence to Sequence Learning with Neural Networks（2014）
https://t.co/dAHO1aKGQ0
Neural Machine Translation by Jointly Learning to Align and Translate（2014）
https://t.co/ENt59aIzb6
Distilling the Knowledge in a Neural Network（2015）
https://t.co/oZN9rPscxT
Deep Residual Learning for Image Recognition / ResNet（2015）
https://t.co/pCxm1aPLi0
Sparsely-Gated Mixture-of-Experts（2017）
https://t.co/A4AyNTsij5
Attention Is All You Need（2017）
https://t.co/3zqAptnMCs
AlphaGo Zero（2017）
https://t.co/vgw4lq1sUV
The Bitter Lesson（2019，文章而非论文）
https://t.co/ULQr8DIVei
LoRA（2021）
https://t.co/bxapJx5RMM
Chain-of-Thought Prompting（2022）
https://t.co/dKClVRvrCd
ReAct（2022）
https://t.co/K3ZpAcmP0q

二、Infra 与数据
这条线回答：模型怎样从单机实验扩展到万卡训练？模型、数据和计算预算应该怎样匹配？
ZeRO（2019）
https://t.co/E3SgPiaYSA
Scaling Laws for Neural Language Models（2020）
https://t.co/kk2SquAoXi
Training Compute-Optimal Large Language Models / Chinchilla（2022）
https://t.co/rLEjTwua4V
LAION-5B（2022）
https://t.co/NlYzev7F6j
The RefinedWeb Dataset for Falcon LLM（2023）
https://t.co/0qPVjwGm4Z
MegaScale：将大模型训练扩展到 10,000+ GPU（2024）
https://t.co/IJHTJCdReh

三、语言模型的发展
这条线回答：词怎样变成向量？预训练为什么有效？模型怎样从任务微调走向上下文学习，再变成遵循指令的助手？
Word2Vec（2013）
https://t.co/tQoF0Ye2Zj
Google Neural Machine Translation / GNMT（2016）
https://t.co/oz3g68NONA
GPT-1（2018）
https://t.co/e3sV5ahucY
BERT（2018）
https://t.co/nvYjpJ39rs
GPT-2（2019）
https://t.co/XcSMTkowob
GPT-3（2020）
https://t.co/WWrr6bKLsq
InstructGPT（2022）
https://t.co/oYIFtoxgQJ
Tulu 3（2024）
https://t.co/6pc8yOT5if

四、多模态模型的发展
这条线回答：深度学习怎样进入视频和图像生成？Transformer 又怎样扩展到视觉与扩散模型？
Large-Scale Video Classification with Convolutional Neural Networks（2014）
https://t.co/TCQI85EjhS
Two-Stream Convolutional Networks for Action Recognition in Videos（2014）
https://t.co/S7oirKI6tm
Generative Adversarial Networks / GAN（2014）
https://t.co/fC44lv4alM
Deep Unsupervised Learning using Nonequilibrium Thermodynamics（2015）
https://t.co/KKuolQ0XtC
Denoising Diffusion Probabilistic Models / DDPM（2020）
https://t.co/SirX0txbAm
Vision Transformer / ViT（2020）
https://t.co/qL5vKZ6Qrw
CLIP（2021）
https://t.co/MIh9YUXOzI
Latent Diffusion Models / Stable Diffusion 的技术基础（2021）
https://t.co/4pQnD9antU
Diffusion Transformer / DiT（2022）
https://t.co/sVjqpwIfNw

两项补充阅读
它们在访谈中被明确提到，但不属于正式 36 项主清单：
The Hardware Lottery（2020）
https://t.co/3keB0pZVjl
PPO（2017）
https://t.co/gjuyA1ydbo

如果时间有限，可以先读这 10 项：
Attention Is All You Need、GPT-1、GPT-2、GPT-3、Scaling Laws、Chinchilla、InstructGPT、LoRA、ReAct、CLIP。

[limit @limit_smith]

@sunyuchentron 必须严肃使用Claude

[limit @limit_smith]

@sunyuchentron 景甜真的好看吗，感觉一般啊，不如安徽老乡学妹

[limit @limit_smith]

@sunyuchentron 看晕了，孙哥讲的很科幻啊

[limit @limit_smith]

@sinya_asr 已严肃关注

[Vincent @Vincent_AINotes]

看到有人用Codex自动回复微信，感觉很离谱😂

其实原理没那么复杂，核心就是：

OCR识图 + ADB操控手机 + Codex负责理解和生成回复。

思路大概是：

每隔30秒监测一次微信 → 通过ADB截取当前连接手机的屏幕 → OCR识别有没有新消息 → 如果对方回复了，就把消息交给Codex分析 → 根据上下文生成一条合理的回复 → 再通过ADB操控微信发送。

目前速度确实慢了点，但至少这条思路已经跑通了。

后面其实还可以继续优化，比如监测频率、OCR、上下文记忆，以及发送操作的稳定性。

[limit @limit_smith]

@MaxForAI 神奇，是不是机械臂画画也能用类似的办法

[诺鸭船长3 @noahduck283]

看完感觉codex白用了

这种文章越早看越好，无痛培养高效习惯，越到后面越懒得学😂

[limit @limit_smith]

@danfei_xu so what's the exact model of insta360? want to do a test

[limit @limit_smith]

@MaxForAI OK 受到重置了

[limit @limit_smith]

@danfei_xu so amazing

[Generalist @GeneralistAI]

Introducing GEN-1.5, a one-shot learner.

It can learn new tasks in a few seconds. Show it what to do, and it generalizes.

This capability emerged from pretraining on physical data at scale, as a step towards our mission of building general intelligence for the physical world.

[Kimberly @king1818888]

Ilya Sutskever 认为吃透30篇AI奠基论文，就能掌握人工智能绝大多数核心精髓。最大难点在于看得懂公式，却难以落地成代码。

开源项目 Sutskever 30 补齐了这一环：纯NumPy从零实现全部30篇经典论文，不依赖深度学习框架，Notebook 直接运行。从循环网络、Transformer 到 VAE、神经图灵机全部覆盖。

适合想要弄懂底层逻辑，拒绝只会调用API的开发者。

https://t.co/9FIi7IF4Qc

[Wei Xu @cocoweixu]

Updated CS 8803 "Large Language Model" class at @GeorgiaTech this year for 2026!

The reading list spans pretraining, MoE, reasoning, RL & self-play, agents, long-context, test-time scaling, diffusion LMs, safety, interpretability, and more.

👉 https://t.co/rzFFz4tgsI
🔗 https://t.co/rD39bWNiOD

[limit @limit_smith]

@CuiMao 太nb了

[limit @limit_smith]

https://t.co/HBnPLa6w8Z

[limit @limit_smith]

@MaxForAI 事实上有科学上网的技术从来也没用过镜像站了

[limit @limit_smith]

We met again,but nothing was the same