fusama

@fusama10

xin

Joined October 2018

48 Following

1 Followers

79 Posts

fusama10 retweeted

herock

@herock

7 months ago

实测部分成功。 1⃣ minimax-m2.1没问题，速度也比较稳定； 2⃣ 但glm-4.7不��道什么原因，响应速度极慢，我这里测试大部分响应时间都超过60秒，只有极少数快一些，但也在5秒以上，基本属于不可用状态。使用方法： 1⃣ 注册 NVIDIA 开发者（支持+86手机号注册）； 2⃣ 创建 API Key（有效期最长可设置为100年，要求为仅限测试使用）； 3⃣ 测试 minimax-m2.1 调用（把 $NVIDIA_API_KEY改成你自己的 API Key）：curl https://t.co/CnaIe1ZtaH -H "Content-Type: application/json" -H "Authorization: Bearer $NVIDIA_API_KEY" -d '{ "model": "minimaxai/minimax-m2.1", "messages": [{"role":"user","content":"你好，你是什么模型？"}], "temperature": 0.2, "top_p": 0.7, "stream": false }' 4⃣ 测试 glm-4.7 调用（把 $NVIDIA_API_KEY改成你自己的 API Key）：curl https://t.co/CnaIe1ZtaH -H "Content-Type: application/json" -H "Authorization: Bearer $NVIDIA_API_KEY" -d '{ "model": "z-ai/glm4.7", "messages": [{"role":"user","content":"你好，你是什么模型？"}], "temperature": 0.2, "top_p": 0.7, "stream": false }' 5⃣ 在上面的命令最后面添加下面的参数，可打印出性能统计信息： -w "\n\n----------- 性能统计 -----------\nDNS解析: %{time_namelookup}s\nTCP连接: %{time_connect}s\n首包时间(TTFB): %{time_starttransfer}s\n总��时: %{time_total}s\n"

$herock's tweet photo. 实测部分成功。 1⃣ minimax-m2.1没问题，速度也比较稳定； 2⃣ 但glm-4.7不��道什么原因，响应速度极慢，我这里测试大部分响应时间都超过60秒，只有极少数快一些，但也在5秒以上，基本属于不可用状态。使用方法： 1⃣ 注册 NVIDIA 开发者（支持+86手机号注册）； 2⃣ 创建 API Key（有效期最长可设置为100年，要求为仅限测试使用）； 3⃣ 测试 minimax-m2.1 调用（把 $NVIDIA_API_KEY改成你自己的 API Key）：curl https://t.co/CnaIe1ZtaH -H "Content-Type: application/json" -H "Authorization: Bearer $NVIDIA_API_KEY" -d '{ "model": "minimaxai/minimax-m2.1", "messages": [{"role":"user","content":"你好，你是什么模型？"}], "temperature": 0.2, "top_p": 0.7, "stream": false }' 4⃣ 测试 glm-4.7 调用（把 $NVIDIA_API_KEY改成你自己的 API Key）：curl https://t.co/CnaIe1ZtaH -H "Content-Type: application/json" -H "Authorization: Bearer $NVIDIA_API_KEY" -d '{ "model": "z-ai/glm4.7", "messages": [{"role":"user","content":"你好，你是什么模型？"}], "temperature": 0.2, "top_p": 0.7, "stream": false }' 5⃣ 在上面的命令最后面添加下面的参数，可打印出性能统计信息： -w "\n\n----------- 性能统计 -----------\nDNS解析: %{time_namelookup}s\nTCP连接: %{time_connect}s\n首包时间(TTFB): %{time_starttransfer}s\n总��时: %{time_total}s\n"$

fusama10 retweeted

Justin

@interjc

7 months ago

https://t.co/pe1oWeWKeI 是个好东西，自带的 glm4.7 免费不说，还可以通过安装插件把 Google 家的 Antigravity 内置的 Claude 和 Gemini 额度导入进来配合上 Google AI Pro 的六人共享搬家套餐，美滋滋

interjc's tweet photo. https://t.co/pe1oWeWKeI 是个好东西，自带的 glm4.7 免费不说，还可以通过安装插件把 Google 家的 Antigravity 内置的 Claude 和 Gemini 额度导入进来

配合上 Google AI Pro 的六人共享搬家套餐，美滋滋 https://t.co/JEh6WGHcYc

164

140K

fusama @fusama10

about 2 years ago

@Asuka_Makina 但是确实不是套壳

942

fusama10 retweeted

howie.serious

@howie_serious

over 2 years ago

如何使用 ChatGPT 原理学会一切知识？读Wolfram 大神的��书《这就是 ChatGPT》之后的读书笔记读了李沐大神的《使用随机梯度下降来优化人生》，忍不住拍大腿。加上前面推荐了wolfram 大神的神书《这就是 ChatGPT》，于是觉得有必要写点类似读书笔记或书评的东西。李沐的文章写于ChatGPT 之前，是结合随机梯度下降来讲人生道理的，我这篇准备从ChatGPT 原理出发，聊一聊 GPT对人类学习、构建个人知识体系的启发。以此文致敬两位大神。🫡 李沐的文章微言大义，只用了 1100 字。我对GPT原理的认识有限，所以写了5000字，请大家多多指正。 1 首先要有目标所有机器学习，一定得有个目标函数。人类的学习也是如此，学习之前，目标先行。目标函数，也叫成本函数，损失函数。**模型训练的目标就是让损失函数最小化**。人类学习，也是要不断接近自己的学习目标。 2 学习目标要大 GPT模型的训练目标，是用一个��大的神经网络��模拟互联网上的所有人类语言文本，让损失函数最小化。目标基本达成，**GPT把基本上全部的人类知识压缩进了万亿参数的单一模型**，实现了通用认知任务上的卓越表现。 GPT的学习目标不可谓不大。人类学习也是如此。目标不能太小，你的学习不是为了通过某次考试，取得某个分数。在我看来，人的学习应当以构建个人知识体系为学习目标。在你在外，人类知识体系（body of knowledge）是一种客观存在，wikipedia 和书籍等都是对人类知识体系的一种整理和构建的实践，我称之为bok1。在你之内，你的脑子里应该有一个自己的个人知识体系，关于一个或多个学科或领域，我称之为 bok2。 **个人学习的目标，是缩小bok2和bok1之间的差距，形成你自己的更全面更扎实更强大的bok2。** 为什么学习目标要足够大？神经网络训练的实践有一个发现：**参数越多，成本函数最小化越容易。正因为这个规律，用神经网络解决复杂问题比解决简单问题更容易**。所以，AI 现在可以写作编程绘画，但是还没法在餐馆端盘子。人类学习也是如此。目标足够大，进步才可能足够大，走的才能足够远。 3 从实例中学习机器靠**样例学习**（learn from examples），从数据中学习，而非通过规则学习（符号AI路线已经破产多年）。机器通过大量的大量的数据来学习到数据中蕴含的模式和规律，就好像从大豆中压榨出其中丰富的油脂。人类也应当从实例中学习。一本书，一篇文章，一个知识视频，一次演讲录像，一次面对面交谈，都是你学习的来源。从实例中，你学到丰富的、鲜活的、有意义的知识。 4 用高质量信息作为学习数据 **Garbage in，garbage out。这是机器学习的第一性原理**。如果数据本身不��含意义，哪怕训练数据再多，可能训练出来的大模型也无法实现高级的智能，甚至还会从垃圾材料中学到满嘴脏话。GPT的训练数据集是精心挑选的高质量数据，包括 Wikipedia、书籍、论文、代码以及高质量的互联网文本。所以，人类的学习是不是也要尽可能用高质量信息作为学习数据？**在一头扎进某本垃圾教科书之前，先精心设计你的学习数据集**。对于任何主题，我通过什么小册子轻松上手登堂入室？通过大师的那本科普书获得大图景（big picture）？哪几本教科书才是全国范围内最好的教科书？有那些知识视频让我更直观更好的理解这个主题？有什么工具能让抽象复杂的知识变得具体而清晰？学习是从数据中体验意义的过程。只有通过高质量的文章、书籍、视频、课程、网站和工具，才能高效提炼出真正的知识。 5 从错误中学习在GPT模型的��训练过程中，数据依次通过神经网络的各层，最终生成下一个token。token的预测值和实际值之间的差异，这是模型的误差（error）。error = diff（预测值, 实际值）。 GPT就是通过error来学习，把误差用反向传播的方法反馈回去，调整模型参数，降低损失函数。 **预测下一个 token => 得出error => 反向传播 => 梯度下降 => 调整参数 => 预测下一个 token** GPT 只能通过误差来学习，人也是如此，只能从错误中学习到东西。错误和不足，是反馈的重要来源，也是最好的来源。然而，人是追求奖励逃避惩罚的动物。**教育的规训让人追求正确，回避错误**。在孩子身上尤其明显，孩子会觉得错误不好，正确才好，一直正确一直好（直到ta迎来必然到来的重大挫折）。我们可以认识到这个思维陷阱并尽量避免：虽然错误让人痛苦，但错误是唯一的学习来源。只有通过错误，人才��学到点什么东西。 6 唯有学习才能改变自己 GPT模型的训练过程，就是不断调整模型的过程，训练的每一步都在改变模型参数，改变模型本身的连接配置。人的学习也还如此。每一次费曼，都得到你当前的理解与费曼式理解之间的差距，根据这个差距来调整，查资料，加深理解，再一次费曼。每一次学习，都在改变你的大脑。不是比喻意义上的改变，而是字面意义上的改变，在生物和物质层面的改变：**短时记忆就是大脑突触之间神经递质增加释放，长时记忆就是基因表达蛋白质合成折叠，形成新的突触连接**。经过充分学习训练的大脑，在结构上不学习的大脑是截然不同的。之间的区别，类似于大脑和脑花之间的区别。学习改变了大脑，改变了你，字面意义上的改变。 7 把阅读作为学习方法 **GPT的学习，是使用上百万GPU时间做一件事：阅读，阅读整个互联网，阅读几乎所有人类的语��文本**。这个阅读过程被被称为“预训练”，而GPT的阅读，只在做一件事：预测下一个token。而 GPT 的阅读量，是上万亿个 token。人类的学习，也应该把阅读作为主要方法。scaling law对 GPT 适用，对人类神经网络也同样适用。人大附中早培班要求六年级小学生每年阅读五百万字，约 50 本书。个人认为这是保底要求。**人类学习者，需要首先成为一个贪婪的阅读者：一年五十本书。每天至少阅读一小时。** 没有预训练，GPT 无法学习；没有阅读，人类无法学习。 8 把费曼作为理解方法 GPT的理解，是在万亿维度的意义空间，用注意力机制，在数百层神经网络中，通过上万次的矩阵向量乘法来加工处理文本转化成的数字向量。 **text => token => generic embedding => embedding 2 => embedding x => final refined embedding => list of probabilities => next token** 对于一个token，GPT用它的上下文来不断关联，提取特征，调整这个向量在语言意义空间中的位置，形成富含意义的、更准确的理解。人类的理解，也是��知识砖块和它的上下文不断建立丰富的、有意义的关联。最好的理解方法就是费曼技巧。**首先费曼知识砖块，然后不断费曼知识砖块之间的关联。通过清晰的概念以及概念之间的关联，人类形成自己的理解。** 把阅读作为学习方法，把费曼作为理解方法，一个概念接着一个概念，一次费曼接着一次费曼。而且，费曼技巧，就是人类的“预测下一个token”。费曼的实际结果与期待结果之间的差异，就是我们在具体实例学习中得到的 error。针对这个 error，计算梯度，沿着梯度前进一部，你就得到了改进。 9 把迭代作为进步方法 GPT模型是在万亿token的高质量数据上训练出来的，用反向传播来传递误差，用随机梯度下降来减少模型误差。**每一个token的生成，都是神经网络中上亿神经元的一次激活，都是一次包含万亿参数在内计算。** 人类的学习，每一次费曼都是一次对神经网络的调参过程。哪怕是对一个概念的理解和费曼，都��是一蹴而就的。费曼x3，任何一个概念都要至少费曼三遍。在有间隔的多次费曼中，你对一个概念的理解变得越发清晰。这是一种迭代式的学习闭环。闭环，迭代，这是学习之要义。把迭代作为进步方法。 10 规模法则，大力出奇迹 GPT模型是遵循规模法则（scaling law）的，规模法则是当前AGI之路的关键方法。wolfram说，“足够大的神经网络当然无所不能”。人类神经网络，是否遵循规模法则？海量知识砖块的积累，构建出越发庞大、多元的个人知识体系，是否能像 GPT 一样带领个体发展出更强大的智能水平？用简单的话说，人类的学习，是否是“大力出奇迹”，凡事都靠积累？答案很可能是肯定的。 11 身为父母，减少人为干预曾经，人类设计AI系统走的是规则路线（符号AI）。曾经，机器学习是需要人工建立特征的（有多少人工，才有多少智能），相当于人类工程师教机器学习。现在，深度学习是端到端的，不用人为的特征工程。AI科学家们发现，学会放手，让神经网络做尽可能多的事情，让神经网络自己学习。**学会放手，结果惊人。** 身为人类父母，是不是也应该减少人为的、低水平的干预？大部分父母自己不是学习专家，不��学习原理，强行扮演教育家是不是反而伤害了孩子的学习？是不是父母们也应该学会放手，不要瞎设计瞎教学？孩子的大脑就像一个等待训练的 GPT模型，与其自上而下去指导教学，不如每天陪着孩子读半小时书，像一个朋友一样，让孩子快乐地享受伟大的预训练过程（阅读）。每天晚饭后，孩子做作业，大人在旁边读书学习。作业完成后，一起快乐共读，一起谈天说地。学会放手，生活更美好，学习更有效。 12 注意力是最贵的 GPT的T，是transformer架构。而transformer的精髓在于其用算法实现了类似人类的注意力机制，从而让模型在阅读文本时针对文本序列的不同部分给与不同程度的关注。 GPT的学习，是注意力分配的艺术。人类的学习，也是注意力分配的艺术。当你阅读，你在不同内容上分配不同程度的注意力，关注概念之间的关联。而且，整个有效学习的前提，是你能在学习这件事上建立并维持你的注意力。注意力的质量，决定学习的质量。然而，你的注意力，是很多厂商虎视眈眈的猎物，10 亿短视频用户每天刷 150 分钟短视频，人们的注意力模式每天都在被短视频算法疯��训练，训练到最后，一篇长文章都读不下去，更不要说严肃的书籍读物。机器在学习，人类在沉迷。**机器通过注意力机制实现了更强大的认知能力。而人类的注意力却愈发稀缺和脆弱。短视频是免费的，但是，注意力却是最贵的。** 13 预训练之外的后训练在让GPT模型阅读完互联网文本之后，OpenAI的科学家们还做了重要的一步：让人类积极地与GPT互动，并且在“如何称为一个更好的LLM助手”方面给与实际反馈。是的，GPT模型的训练，除了预训练之外，还有**后训练：微调（finetuning），奖励建模（reward modeling）和RLHF(基于人类反馈的强化学习)。预训练占比95%，是绝对大头；后训练强调少而精，事半功倍。** 人类学习也是如此。除了海量阅读作为预训练，还需要后训练作为补充。对海量阅读的孩子进行考试元技能的微调，只做了 8 套真题，8 岁儿童就能通过 FCE 考试。而对孩子的三观培养，家庭的家风建设，则类似于 GPT 模型中的奖励建模。为人父母，我们最重要的角色就是正反馈父母，不要学上“老中”的毛病，不过脑子，什么话难听说什么。只要做好正反馈，每个孩子都能培养出强大的澎湃的学习内驱力。 14 语言就是思维本身人类语言，以及语言生成所涉及的思维过程，一直被视为复杂性的巅峰。而ChatGPT的成功给我们一个启示：在某种程度上，似乎人类语言的所有丰富性，以及人类能用语言谈论的所有事物，都可以被封装进一个有限的系统。语言，在根本上，似乎比它看起来简单。**ChatGPT 则成功捕捉到了人类语言的“本质”和背后的思维方式**。ChatGPT 在训练过程中，隐含地发现了人类语言的语法规则，并且很擅长遵守这些规则。人类语言中丰富的语义信息，也被 GPT 通过向量空间中无数次的矩阵计算成功提取出来，存储为万亿参数构成的神经网络连接。通过掌握人类语言，GPT 还建立了某种意义上的世界模型。人类学习也不应轻视语言，把语言视作普通的一个科目，分值有限，在高考中拉不开差距。不宜把口头的语言表达视作非核心技能，不宜把书面语言的写作技能视作非核心技能。每一个终身学习者，都应该足够重视语言，重视演讲作为核心技能，重视写作作为核心技能。 15 学习，快与慢的艺术机器学习的快慢由一个超参数决定：**学习率 learning rate**，这是模型在梯度下降时的步子长短。步子太大，可能无法实现模型损失函数的最小化。步子太小，梯度下降太慢，效率太低。神经网络的训练中，合适的学习率是只能在实践中摸索出来的，只能来自经验。人类学习也是如此。步子太大，看起来学的快了，但是理解浅，遗漏多。突击可以让你在考试中蒙混过关，但在实际应用中需要支付更高的代价。步子太小，龟速爬行，学起来会没劲。在快速学习和深度学习之间平衡，是学习的艺��。而掌握这么艺术的最佳方式，是构建自己的知识树。以知识树为目标的学习，在快与慢之间最容易取得平衡：前期快速��建框架，快速建立大局观，获得正反馈；然后慢慢微调，一个概念接着一个概念，看起来慢，但实现了更好的快。 16 学习，没有人出生在罗马有人煽动起跑线焦虑，说什么“有的人出生在罗马”。在财富和权力层面可能对，但在学习这件事上，众生平等，没有人的家住在罗马。哪怕是马斯克的孩子，也得自己亲自预训练自己的神经网络，也得自己逼近学习目标，而且没有捷径。机器学习也有起点和终点。起点是初始化的随机参数，终点是高维空间中损失函数最小的点。GPT模型的学习，就是在万亿维度的意义空间中找到这个最低点。 LLM们的学习都是后天的，难道ChatGPT比文心一言聪明是因为它出生在罗马？学习就是在万亿维度的意义空间趋近自己的目标函数，所有学习者的起点都是一样的，没有人生在终点，没有人家在罗马。 17 学习，每个人有自己的时区有人煽动学习焦虑，像把大活人变成竹节虫，让人生布满“节点”： “婴儿英语启蒙要抓住关键节点”，“三年级真的至关重要” ，“大二是最关键的一年”，“人生最关键的节点是35岁”……多少岁毕业，多少岁买房，多少岁结婚，多少岁生子，多少岁财富自由…… 这个“社会时钟”妄图规定出一个人生的“标准时间”，规定了人们在不同的阶段要完成相应的 KPI。在“社会时钟”下，很多人在疲于奔命地过一种“打卡人生”。但是，GPT的学习，是万亿维度的意义空间的旅程。每一条梯度下降的路线，都是逼近目标函数的路线，没有一个固定的、正确的路线。人的学习也是如此。我们不需要一个“社会时钟”来规定你是迟到了还是来不及了。娃 6 岁了还没学 scratch，是不是晚了？孩子已经初中了，英语词汇量才 500，是不是来不及了？我三十多岁了，才开始学 python，丢不丢人？每个学习者都有自己的时区，按照自己的节奏，走在终身学习终身成长的道路上。芒格曾经说过，我今年学习了做 PPT，我这 90 多岁的老狗还能学会新技能，你们年轻人还担心什么。只要你还在学习，还在往前走，就无所谓早晚。每个人都是独一无二的，每个人对自己的路线拥有主导权和解释权。横向比较是愚蠢且没必要的。 18 学习，简洁是更高级的复杂机器学习的早期，人们认为应该在神经网络中使用各种复杂的独立组件，从而让神经网络“显式地实现特定的算法思想”。GPT之后，人们发现，更好的方式是使用非常简单的组件，让它们“自我组织”，反而能更好地实现算法思想。 **ChatGPT原理的一大启示：最强大的智能，并非通过复杂部件的堆砌，反而来自结构简单的无数计算元素的组合，以及朴实无华的scaling law。** 最复杂的神经网络，由最简单的基本结构组成。人类的学习也是如此。不要迷信复杂的工具和技巧，大道至简，简单最好。最庞大的知识体系，也不过是由一系列简单的事实性知识、概念、模型组合而成，而学习这些概念的方法本身也是简单而非复杂的��朴实而非深奥的。 --- 这些，就是 ChatGPT 教给我关于学习的道理。

howie_serious's tweet photo. 如何使用 ChatGPT 原理学会一切知识？读Wolfram 大神的��书《这就是 ChatGPT》之后的读书笔记

读了李沐大神的《使用随机梯度下降来优化人生》，忍不住拍大腿。加上前面推荐了wolfram 大神的神书《这就是 ChatGPT》，于是觉得有必要写点类似读书笔记或书评的东西。李沐的文章写于ChatGPT 之前，是结合随机梯度下降来讲人生道理的，我这篇准备从ChatGPT 原理出发，聊一聊 GPT对人类学习、构建个人知识体系的启发。以此文致敬两位大神。🫡

李沐的文章微言大义，只用了 1100 字。我对GPT原理的认识有限，所以写了5000字，请大家多多指正。

1 首先要有目标

所有机器学习，一定得有个目标函数。人类的学习也是如此，学习之前，目标先行。

目标函数，也叫成本函数，损失函数。**模型训练的目标就是让损失函数最小化**。人类学习，也是要不断接近自己的学习目标。

2 学习目标要大

GPT模型的训练目标，是用一个��大的神经网络��模拟互联网上的所有人类语言文本，让损失函数最小化。目标基本达成，**GPT把基本上全部的人类知识压缩进了万亿参数的单一模型**，实现了通用认知任务上的卓越表现。

GPT的学习目标不可谓不大。

人类学习也是如此。目标不能太小，你的学习不是为了通过某次考试，取得某个分数。在我看来，人的学习应当以构建个人知识体系为学习目标。

在你在外，人类知识体系（body of knowledge）是一种客观存在，wikipedia 和书籍等都是对人类知识体系的一种整理和构建的实践，我称之为bok1。在你之内，你的脑子里应该有一个自己的个人知识体系，关于一个或多个学科或领域，我称之为 bok2。

**个人学习的目标，是缩小bok2和bok1之间的差距，形成你自己的更全面更扎实更强大的bok2。**

为什么学习目标要足够大？神经网络训练的实践有一个发现：**参数越多，成本函数最小化越容易。正因为这个规律，用神经网络解决复杂问题比解决简单问题更容易**。所以，AI 现在可以写作编程绘画，但是还没法在餐馆端盘子。

人类学习也是如此。目标足够大，进步才可能足够大，走的才能足够远。

3 从实例中学习

机器靠**样例学习**（learn from examples），从数据中学习，而非通过规则学习（符号AI路线已经破产多年）。机器通过大量的大量的数据来学习到数据中蕴含的模式和规律，就好像从大豆中压榨出其中丰富的油脂。

人类也应当从实例中学习。一本书，一篇文章，一个知识视频，一次演讲录像，一次面对面交谈，都是你学习的来源。从实例中，你学到丰富的、鲜活的、有意义的知识。

4 用高质量信息作为学习数据

**Garbage in，garbage out。这是机器学习的第一性原理**。如果数据本身不��含意义，哪怕训练数据再多，可能训练出来的大模型也无法实现高级的智能，甚至还会从垃圾材料中学到满嘴脏话。GPT的训练数据集是精心挑选的高质量数据，包括 Wikipedia、书籍、论文、代码以及高质量的互联网文本。

所以，人类的学习是不是也要尽可能用高质量信息作为学习数据？**在一头扎进某本垃圾教科书之前，先精心设计你的学习数据集**。对于任何主题，我通过什么小册子轻松上手登堂入室？通过大师的那本科普书获得大图景（big picture）？哪几本教科书才是全国范围内最好的教科书？有那些知识视频让我更直观更好的理解这个主题？有什么工具能让抽象复杂的知识变得具体而清晰？

学习是从数据中体验意义的过程。只有通过高质量的文章、书籍、视频、课程、网站和工具，才能高效提炼出真正的知识。

5 从错误中学习

在GPT模型的��训练过程中，数据依次通过神经网络的各层，最终生成下一个token。token的预测值和实际值之间的差异，这是模型的误差（error）。error = diff（预测值, 实际值）。 GPT就是通过error来学习，把误差用反向传播的方法反馈回去，调整模型参数，降低损失函数。

**预测下一个 token => 得出error => 反向传播 => 梯度下降 => 调整参数 => 预测下一个 token**

GPT 只能通过误差来学习，人也是如此，只能从错误中学习到东西。错误和不足，是反馈的重要来源，也是最好的来源。

然而，人是追求奖励逃避惩罚的动物。**教育的规训让人追求正确，回避错误**。在孩子身上尤其明显，孩子会觉得错误不好，正确才好，一直正确一直好（直到ta迎来必然到来的重大挫折）。

我们可以认识到这个思维陷阱并尽量避免：虽然错误让人痛苦，但错误是唯一的学习来源。只有通过错误，人才��学到点什么东西。

6 唯有学习才能改变自己

GPT模型的训练过程，就是不断调整模型的过程，训练的每一步都在改变模型参数，改变模型本身的连接配置。

人的学习也还如此。每一次费曼，都得到你当前的理解与费曼式理解之间的差距，根据这个差距来调整，查资料，加深理解，再一次费曼。

每一次学习，都在改变你的大脑。不是比喻意义上的改变，而是字面意义上的改变，在生物和物质层面的改变：**短时记忆就是大脑突触之间神经递质增加释放，长时记忆就是基因表达蛋白质合成折叠，形成新的突触连接**。经过充分学习训练的大脑，在结构上不学习的大脑是截然不同的。之间的区别，类似于大脑和脑花之间的区别。

学习改变了大脑，改变了你，字面意义上的改变。

7 把阅读作为学习方法

**GPT的学习，是使用上百万GPU时间做一件事：阅读，阅读整个互联网，阅读几乎所有人类的语��文本**。这个阅读过程被被称为“预训练”，而GPT的阅读，只在做一件事：预测下一个token。而 GPT 的阅读量，是上万亿个 token。

人类的学习，也应该把阅读作为主要方法。scaling law对 GPT 适用，对人类神经网络也同样适用。人大附中早培班要求六年级小学生每年阅读五百万字，约 50 本书。个人认为这是保底要求。**人类学习者，需要首先成为一个贪婪的阅读者：一年五十本书。每天至少阅读一小时。**

没有预训练，GPT 无法学习；没有阅读，人类无法学习。

8 把费曼作为理解方法

GPT的理解，是在万亿维度的意义空间，用注意力机制，在数百层神经网络中，通过上万次的矩阵向量乘法来加工处理文本转化成的数字向量。

**text => token => generic embedding => embedding 2 => embedding x => final refined embedding => list of probabilities => next token**

对于一个token，GPT用它的上下文来不断关联，提取特征，调整这个向量在语言意义空间中的位置，形成富含意义的、更准确的理解。

人类的理解，也是��知识砖块和它的上下文不断建立丰富的、有意义的关联。最好的理解方法就是费曼技巧。**首先费曼知识砖块，然后不断费曼知识砖块之间的关联。通过清晰的概念以及概念之间的关联，人类形成自己的理解。**

把阅读作为学习方法，把费曼作为理解方法，一个概念接着一个概念，一次费曼接着一次费曼。

而且，费曼技巧，就是人类的“预测下一个token”。费曼的实际结果与期待结果之间的差异，就是我们在具体实例学习中得到的 error。针对这个 error，计算梯度，沿着梯度前进一部，你就得到了改进。

9 把迭代作为进步方法

GPT模型是在万亿token的高质量数据上训练出来的，用反向传播来传递误差，用随机梯度下降来减少模型误差。**每一个token的生成，都是神经网络中上亿神经元的一次激活，都是一次包含万亿参数在内计算。**

人类的学习，每一次费曼都是一次对神经网络的调参过程。哪怕是对一个概念的理解和费曼，都��是一蹴而就的。费曼x3，任何一个概念都要至少费曼三遍。在有间隔的多次费曼中，你对一个概念的理解变得越发清晰。

这是一种迭代式的学习闭环。闭环，迭代，这是学习之要义。把迭代作为进步方法。

10 规模法则，大力出奇迹

GPT模型是遵循规模法则（scaling law）的，规模法则是当前AGI之路的关键方法。wolfram说，“足够大的神经网络当然无所不能”。

人类神经网络，是否遵循规模法则？海量知识砖块的积累，构建出越发庞大、多元的个人知识体系，是否能像 GPT 一样带领个体发展出更强大的智能水平？用简单的话说，人类的学习，是否是“大力出奇迹”，凡事都靠积累？

答案很可能是肯定的。

11 身为父母，减少人为干预

曾经，人类设计AI系统走的是规则路线（符号AI）。曾经，机器学习是需要人工建立特征的（有多少人工，才有多少智能），相当于人类工程师教机器学习。现在，深度学习是端到端的，不用人为的特征工程。AI科学家们发现，学会放手，让神经网络做尽可能多的事情，让神经网络自己学习。**学会放手，结果惊人。**

身为人类父母，是不是也应该减少人为的、低水平的干预？大部分父母自己不是学习专家，不��学习原理，强行扮演教育家是不是反而伤害了孩子的学习？是不是父母们也应该学会放手，不要瞎设计瞎教学？

孩子的大脑就像一个等待训练的 GPT模型，与其自上而下去指导教学，不如每天陪着孩子读半小时书，像一个朋友一样，让孩子快乐地享受伟大的预训练过程（阅读）。每天晚饭后，孩子做作业，大人在旁边读书学习。作业完成后，一起快乐共读，一起谈天说地。学会放手，生活更美好，学习更有效。

12 注意力是最贵的

GPT的T，是transformer架构。而transformer的精髓在于其用算法实现了类似人类的注意力机制，从而让模型在阅读文本时针对文本序列的不同部分给与不同程度的关注。

GPT的学习，是注意力分配的艺术。

人类的学习，也是注意力分配的艺术。当你阅读，你在不同内容上分配不同程度的注意力，关注概念之间的关联。

而且，整个有效学习的前提，是你能在学习这件事上建立并维持你的注意力。注意力的质量，决定学习的质量。

然而，你的注意力，是很多厂商虎视眈眈的猎物，10 亿短视频用户每天刷 150 分钟短视频，人们的注意力模式每天都在被短视频算法疯��训练，训练到最后，一篇长文章都读不下去，更不要说严肃的书籍读物。

机器在学习，人类在沉迷。**机器通过注意力机制实现了更强大的认知能力。而人类的注意力却愈发稀缺和脆弱。短视频是免费的，但是，注意力却是最贵的。**

13 预训练之外的后训练

在让GPT模型阅读完互联网文本之后，OpenAI的科学家们还做了重要的一步：让人类积极地与GPT互动，并且在“如何称为一个更好的LLM助手”方面给与实际反馈。

是的，GPT模型的训练，除了预训练之外，还有**后训练：微调（finetuning），奖励建模（reward modeling）和RLHF(基于人类反馈的强化学习)。预训练占比95%，是绝对大头；后训练强调少而精，事半功倍。**

人类学习也是如此。除了海量阅读作为预训练，还需要后训练作为补充。

对海量阅读的孩子进行考试元技能的微调，只做了 8 套真题，8 岁儿童就能通过 FCE 考试。而对孩子的三观培养，家庭的家风建设，则类似于 GPT 模型中的奖励建模。为人父母，我们最重要的角色就是正反馈父母，不要学上“老中”的毛病，不过脑子，什么话难听说什么。只要做好正反馈，每个孩子都能培养出强大的澎湃的学习内驱力。

14 语言就是思维本身

人类语言，以及语言生成所涉及的思维过程，一直被视为复杂性的巅峰。而ChatGPT的成功给我们一个启示：在某种程度上，似乎人类语言的所有丰富性，以及人类能用语言谈论的所有事物，都可以被封装进一个有限的系统。

语言，在根本上，似乎比它看起来简单。**ChatGPT 则成功捕捉到了人类语言的“本质”和背后的思维方式**。ChatGPT 在训练过程中，隐含地发现了人类语言的语法规则，并且很擅长遵守这些规则。人类语言中丰富的语义信息，也被 GPT 通过向量空间中无数次的矩阵计算成功提取出来，存储为万亿参数构成的神经网络连接。通过掌握人类语言，GPT 还建立了某种意义上的世界模型。

人类学习也不应轻视语言，把语言视作普通的一个科目，分值有限，在高考中拉不开差距。不宜把口头的语言表达视作非核心技能，不宜把书面语言的写作技能视作非核心技能。每一个终身学习者，都应该足够重视语言，重视演讲作为核心技能，重视写作作为核心技能。

15 学习，快与慢的艺术

机器学习的快慢由一个超参数决定：**学习率 learning rate**，这是模型在梯度下降时的步子长短。步子太大，可能无法实现模型损失函数的最小化。步子太小，梯度下降太慢，效率太低。神经网络的训练中，合适的学习率是只能在实践中摸索出来的，只能来自经验。

人类学习也是如此。步子太大，看起来学的快了，但是理解浅，遗漏多。突击可以让你在考试中蒙混过关，但在实际应用中需要支付更高的代价。步子太小，龟速爬行，学起来会没劲。在快速学习和深度学习之间平衡，是学习的艺��。

而掌握这么艺术的最佳方式，是构建自己的知识树。以知识树为目标的学习，在快与慢之间最容易取得平衡：前期快速��建框架，快速建立大局观，获得正反馈；然后慢慢微调，一个概念接着一个概念，看起来慢，但实现了更好的快。

16 学习，没有人出生在罗马

有人煽动起跑线焦虑，说什么“有的人出生在罗马”。在财富和权力层面可能对，但在学习这件事上，众生平等，没有人的家住在罗马。哪怕是马斯克的孩子，也得自己亲自预训练自己的神经网络，也得自己逼近学习目标，而且没有捷径。

机器学习也有起点和终点。起点是初始化的随机参数，终点是高维空间中损失函数最小的点。GPT模型的学习，就是在万亿维度的意义空间中找到这个最低点。

LLM们的学习都是后天的，难道ChatGPT比文心一言聪明是因为它出生在罗马？学习就是在万亿维度的意义空间趋近自己的目标函数，所有学习者的起点都是一样的，没有人生在终点，没有人家在罗马。

17 学习，每个人有自己的时区

有人煽动学习焦虑，像把大活人变成竹节虫，让人生布满“节点”： “婴儿英语启蒙要抓住关键节点”，“三年级真的至关重要” ，“大二是最关键的一年”，“人生最关键的节点是35岁”……多少岁毕业，多少岁买房，多少岁结婚，多少岁生子，多少岁财富自由……

这个“社会时钟”妄图规定出一个人生的“标准时间”，规定了人们在不同的阶段要完成相应的 KPI。在“社会时钟”下，很多人在疲于奔命地过一种“打卡人生”。

但是，GPT的学习，是万亿维度的意义空间的旅程。每一条梯度下降的路线，都是逼近目标函数的路线，没有一个固定的、正确的路线。

人的学习也是如此。我们不需要一个“社会时钟”来规定你是迟到了还是来不及了。娃 6 岁了还没学 scratch，是不是晚了？孩子已经初中了，英语词汇量才 500，是不是来不及了？我三十多岁了，才开始学 python，丢不丢人？

每个学习者都有自己的时区，按照自己的节奏，走在终身学习终身成长的道路上。芒格曾经说过，我今年学习了做 PPT，我这 90 多岁的老狗还能学会新技能，你们年轻人还担心什么。

只要你还在学习，还在往前走，就无所谓早晚。每个人都是独一无二的，每个人对自己的路线拥有主导权和解释权。横向比较是愚蠢且没必要的。

18 学习，简洁是更高级的复杂

机器学习的早期，人们认为应该在神经网络中使用各种复杂的独立组件，从而让神经网络“显式地实现特定的算法思想”。GPT之后，人们发现，更好的方式是使用非常简单的组件，让它们“自我组织”，反而能更好地实现算法思想。

**ChatGPT原理的一大启示：最强大的智能，并非通过复杂部件的堆砌，反而来自结构简单的无数计算元素的组合，以及朴实无华的scaling law。**

最复杂的神经网络，由最简单的基本结构组成。人类的学习也是如此。不要迷信复杂的工具和技巧，大道至简，简单最好。

最庞大的知识体系，也不过是由一系列简单的事实性知识、概念、模型组合而成，而学习这些概念的方法本身也是简单而非复杂的��朴实而非深奥的。

---
这些，就是 ChatGPT 教给我关于学习的道理。

144

918K

fusama10 retweeted

Geek

@geekbb

over 2 years ago

最初大家在 Cloudflare 上薅梯子行为我是嗤之以鼻的，甚至有些鄙视，兄弟们都缺成什么样了？再不济 Cloudflare 还提供了 WARP+ 服务呢。作为搭🪜技术资深学者，我出于纯研究目的，在 Cloudflare Worker 部署 VLESS 代理进行测试，当韩国、香港、日本、新加坡节点油管均突破 20w+ 以及 Speedtest 跑满带宽时(南方联通非高峰)，作为 Mjj 我陷入深深沉思（这还没开优选IP呢）。还研究鬼的个VPS线路，艹！独乐乐不如众乐乐，要搭建可以参考https://t.co/rJCsgzC6NP 项目，配有视频指导，非常适合初学者，简单三步即可完成并拥有 65 条 Cloudflare VLESS 线路。如果你用的是 OpenWrt - PassWall ，实测加入负载均��正常代理，多加几条优质线路为你分担流量&备用，兄弟们直接香飞起。

geekbb's tweet photo. 最初大家在 Cloudflare 上薅梯子行为我是嗤之以鼻的，甚至有些鄙视，兄弟们都缺成什么样了？再不济 Cloudflare 还提供了 WARP+ 服务呢。作为搭🪜技术资深学者，我出于纯研究目的，在 Cloudflare Worker 部署 VLESS 代理进行测试，当韩国、香港、日本、新加坡节点油管均突破 20w+ 以及 Speedtest 跑满带宽时(南方联通非高峰)，作为 Mjj 我陷入深深沉思（这还没开优选IP呢）。还研究鬼的个VPS线路，艹！

独乐乐不如众乐乐，要搭建可以参考https://t.co/rJCsgzC6NP 项目，配有视频指导，非常适合初学者，简单三步即可完成并拥有 65 条 Cloudflare VLESS 线路。

如果你用的是 OpenWrt - PassWall ，实测加入负载均��正常代理，多加几条优质线路为你分担流量&备用，兄弟们直接香飞起。

286

10K

fusama10 retweeted

Frey轰轰

@HiFrey

over 2 years ago

昨天刚收到新的眼镜，只用了实体店三分之一的价格，配到蔡司的中高端智锐1.74镜片，一共花了1443，分别是：1336（镜片蔡司智锐1.74）+80（蔡司原厂加工费）+15（1688购买tr90镜框）+12（运费），这家店铺我已经配了4副蔡司眼镜了，18年就开始在他家买眼镜，先去验光，验光建议选择博士眼镜，验光会准确一些，可以找当地的博士店铺看看美��抖音上有没有只验光的套餐，大概50-80块钱，如果不给只验光的话，就去配一副最便宜的大概200块钱的眼镜，就可以拿到自己的准确度数，然后去淘宝买自己喜欢的镜框，把镜框快递给老板，老板��排配镜，这家店铺在深圳，深圳的小伙伴应该也可以直接去他们公司配，配完的眼镜可以在蔡司的公众号查询真伪，个人分享，无利益相关。 https://t.co/wqFK2Doc6D

HiFrey's tweet photo. 昨天刚收到新的眼镜，只用了实体店三分之一的价格，配到蔡司的中高端智锐1.74镜片，一共花了1443，分别是：1336（镜片蔡司智锐1.74）+80（蔡司原厂加工费）+15（1688购买tr90镜框）+12（运费），这家店铺我已经配了4副蔡司眼镜了，18年就开始在他家买眼镜，先去验光，验光建议选择博士眼镜，验光会准确一些，可以找当地的博士店铺看看美��抖音上有没有只验光的套餐，大概50-80块钱，如果不给只验光的话，就去配一副最便宜的大概200块钱的眼镜，就可以拿到自己的准确度数，然后去淘宝买自己喜欢的镜框，把镜框快递给老板，老板��排配镜，这家店铺在深圳，深圳的小伙伴应该也可以直接去他们公司配，配完的眼镜可以在蔡司的公众号查询真伪，个人分享，无利益相关。

https://t.co/wqFK2Doc6D

220

681

855K

fusama10 retweeted

piglei @Piglei

over 2 years ago

Redis 作者写了篇文章，分享用 LLM 编程的体验，相当务实。他提到 LLM 能极大缩短学习新技术的时间，非常适合写一些“用后即丢”的代码，但在本身已是专家的领域中帮助略小。最后，他认为如何向 LLM 提出正确的问题，会成为非常重要的技能；截图那段是我最感慨的部分。阅读��https://t.co/LNCXRSMwTu

Piglei's tweet photo. Redis 作者写了篇文章，分享用 LLM 编程的体验，相当务实。他提到 LLM 能极大缩短学习新技术的时间，非常适合写一些“用后即丢”的代码，但在本身已是专家的领域中帮助略小。

最后，他认为如何向 LLM 提出正确的问题，会成为非常重要的技能；截图那段是我最感慨的部分。

阅读��https://t.co/LNCXRSMwTu https://t.co/fi6yE9Lemw

781

164

566

243K

fusama10 retweeted

Massimo

@Rainmaker1973

over 2 years ago

Do you know them all?

219

11K

957K

fusama10 retweeted

阑夕

@foxshuo

almost 3 years ago

这个被命名为「京东被下架的2分钟视频」（实际上是四件套的大尺度广告）今天在各个微信群里疯传⋯⋯

354

10K

fusama10 retweeted

Geek

@geekbb

almost 3 years ago

追番利器 AutoBangumi ,从 RSS 全自动订阅解析、下载管理、重命名整理，自动追番，解放双手！项目:https://t.co/ZzFDkSSqeP 主页:https://t.co/1QlJqftMQ0

217

127

41K

fusama10 retweeted

Alro·Yonas @tanglang52

almost 3 years ago

Anki 学习参考手册 https://t.co/Hol8vPyH6H

fusama10 retweeted

Alro·Yonas @tanglang52

almost 3 years ago

"Anki -是个超强记忆与学习工具！🧠💡 自定义闪卡集，轻松记忆和复习。共享卡组库，找到你需要的资料。跨平台应用，随时随地学习。解锁学习潜力，提升记忆力与知识储备。 Anki，开启高效学习之旅！🚀 https://t.co/qD7Mq7m9uN #Anki #学习工具 #记忆 #高效学习"

fusama10 retweeted

Tw93

@HiTw93

almost 3 years ago

#工程师工具发现一个免费的高品质英文字体下载使用的网站「FontShare」，相比其他的字体网站做得精致许多，默认列表字体本身就很好看，同时可以预览自己的自定义文字，不错不错。 🤖️https://t.co/NFE6KuTUv8

201

34K

fusama10 retweeted

Sea

@Sea_Bitcoin

almost 3 years ago

「有知有行」的孟岩最近出了一期视频，分享「投资是怎样赚钱的」这个话题。这个视频制作很用心，信息量也比较大，有不少精彩观点（和数据事实），推荐看完整视频： 1/ 得益于工业化、科技革命带来的生产力指数级上升，人类绝大部分财富都是在过去 200 年里创造的，远超此前几万年的财富总和。我们这代人运气不错，生在一个财富爆炸的好时代。 2/ 通货膨胀（货币和信用扩张）是全球性的不变主题，不可避免。在 1802 到 2012 年的这 210 年里，1 美元的购买力只剩下 0.05 美元，美元贬值的斜率还在变陡。 3/ 好的股票投资，本质就是把钱投向拥有先进生产力的公司，购买一部分公司所有权，分享 GDP 高速增长的红利。 4/ 对于很多个人来说��没有择股、择时的能力，最好的方式是躺平买指数（一篮子股票），在「长期持有」的前提下，也能接近于「明星基金经理」的年化收益。这很接近于投资「国运」。 5/ 预测市场和价格是不可能的，未来无人知晓。很多明星投资人都把曾经赚的钱，又还给了市场。当闪电劈下来时，你最好保证自己在场，但大部分人都耐不住寂寞，焦躁地进进出出，「巧妙地」避开了闪电。 6/ 投资不是要在别人的游戏中打败他们，而是要在自己的游戏中控制自己。——本杰明·格雷厄姆《聪明的投资者》

521

307K

fusama10 retweeted

Barret李靖

@Barret_China

almost 3 years ago

新博文《接码平台与海外手机卡》https://t.co/P2rkFYpHcd 如果你注册和使用过 ChatGPT，那你对这篇文章要解决的问题就会深有感触，注册时使用邮箱登录后，OpenAI 会要求你绑定一个手机号码，而这个手机号码不允许是中国大陆区的，很多人都会卡在这一步。有两条路径来解决这个问题，1）使用接码平台，临时租一个非大陆手机号码，用来接收验证码；2）你可以直接购买一张非大陆区的��机卡。本文会告诉你，这两条路径分别该怎么走。

Barret_China's tweet photo. 新博文《接码平台与海外手机卡》https://t.co/P2rkFYpHcd

如果你注册和使用过 ChatGPT，那你对这篇文章要解决的问题就会深有感触，注册时使用邮箱登录后，OpenAI 会要求你绑定一个手机号码，而这个手机号码不允许是中国大陆区的，很多人都会卡在这一步。

有两条路径来解决这个问题，1）使用接码平台，临时租一个非大陆手机号码，用来接收验证码；2）你可以直接购买一张非大陆区的��机卡。本文会告诉你，这两条路径分别该怎么走。

830

215

709

199K

fusama10 retweeted

Tw93

@HiTw93

almost 3 years ago

#工程师学习对于想学习 Rust 的同学一般会在看完教程以后缺少一些练手的案例，发现一个不错的博客「Writing an OS in Rust」，逐步使用 Rust 来创建了一个小型操作系统，每篇文章都是一个小教程，包含了所有需要的代码并在 Github 可以找到，你可以跟着学习。 🤖 https://t.co/0o3t9yJbmd