roger.tei

[roger.tei @wolfyell]

@wolfyxbt 别搞我的赛博大善人，删了行吗？你一个大v，讲点爱奇艺不行吗，快退市了，你去帮帮它。之前的低端影视就被搞没了，我可不想去看什么澳门新葡京，麻将胡了，麻将胡了2

[roger.tei @wolfyell]

@weichunchen @lipeng0820 谢谢，你说的对，系统设成英文，电信卡就有了，无需额外设置，试了下也没收到运营商短信，不知是否收费，之前中文只有移动卡有这功能，还需要开通才能用

[roger.tei @wolfyell]

@CallmeTinabb 什么都冲，只会害了你！

[roger.tei @wolfyell]

@pengchujin 确实，今早又试了一下，依然阔以刷。建议不能看的取消mitm重写，删除hostname中的TikTok相关，关闭后台刷新，只需要一条分流规则即可！

[Geek @geekbb]

为庆祝 20 周年，OpenWrt 将推出首款路由器 “OpenWrt One / AP-24.XY”。看了一下配置再看价格🫠。现在 N100 2.5G 四网口刚好卷到 100 美元。性能稍差一点点的 R2S 才 35 美元，嗯纪念意义大于实际意义。https://t.co/M4FItDCFhC

[roger.tei @wolfyell]

没有河北彩花，我不是很认可！

[roger.tei @wolfyell]

@NameweeO 靠嘲笑小粉红而走红的人，居然有这种小粉红逻辑，搞笑！那你别用iphone，别用电脑，别在youtube上宣传自己的作品啊，那些都是美帝的，取关了

[roger.tei @wolfyell]

@waylybaye 听音乐还得无源+功放，买对稍好点的书架箱，功放入门级推力够就行，完了接appletv就可以airplay,当然现在有些功放本身已经支持airplay

[roger.tei @wolfyell]

@wlixiong 只说现代的是吧，那我翻出同治时期陕甘回乱，阁下又如何应对？后来他们还分成两��，北疆的接受老毛子援助，南疆的接受英国援助，阴谋分裂有没有这回事？期间又杀了多少汉人，他们有没有跟你讲？要不是左宗棠刘振棠力挽狂澜，中国版图这只鸡早就成半只了！我只能说绿教一言难尽

[roger.tei @wolfyell]

@M91767223 狗东搜“安速蟑螂屋”，诱捕一网打尽，类���于粘鼠胶，效果不错

[宝玉 @dotey]

微软2023年Build大会演讲：如何训练和应用GPT（中英文字幕）

这是本次微软2023年Build大会来自OpenAI的AI 研究员和创始成员Andrej Karpathy的一个主题为State of GPT的演讲。

演讲主要有两部分内容：
1. OpenAI是如何训练GPT的
2. 我们如何有效应用GPT

都是非常有价值的分享。

首先对于如何训练GPT，通常来说是四个阶段预训练（Pretraining），有监督的微调（Supervised Finetuning），奖励建模（Reward Modeling）和强化��习（Reinforcement Learning），这几个阶段通常是依次进行，每个阶段都有不同的数据集。

预训练（Pretraining）：
这个阶段的目标是让模型学习一种语言模型，用于预测文本序列中的下一个单词。训练数据通常是互联网上的大量文本。模型从这些文本中学习词汇、语法、事实以及某种程度的推理能力。这个阶段结束后，模型可以生成一些有意义且语法正确的文本，但可能无法理解具体任务的需求。

有监督的微调（Supervised Finetuning）：
在预训练后，模型会进入微调阶段。在这个阶段，人类评估员将参与并给出指导，他们会给模型提供对话样本，样本中包含了输入和期望的输出。这使得模型能更好地适应特定任务或应用，例如回答问题或编写文章。

奖励建模（Reward Modeling）：
评估员将对模型生成的不同输出进行排名，以表示它们的质量。这个排名将被用作奖励函数，指导模型优化其生成的输出。

强化学习（Reinforcement Learning）：
强化学习阶段是一个迭代的过程，模型会试图优化其行为以获得最大的奖励。在这个阶段，模型会产生新的输出，评估员会对这些输出进行排名，然后模型根据这个反馈调整其行为。

然后是如何有效应用GPT

在演讲中Andrej举了一个非常好的例子：人类和大语言模型（LLM）都是如何写作的？从这个例子中你能明显感觉到人类和GPT之间的差异。

假设你要写一篇文章去比较加利福尼亚州和阿拉斯加州的人口，你的写作的过程中可能是像这样的：
- 我需要写一篇文章去比较加利福尼亚州和阿拉斯加州的人口
- 我需要去获取两个州的人口数据
- 我不知道这两个周的人口数据
- 去维基百科找到加利福尼亚州的人口是39.2M
- 去维基百科找到阿拉斯加州的人口是0.74M
- 现在我需要计算一下两个州人口数相差多少倍，但是可能需要计算机帮忙
- 用计算器算出来39.2除以0.74约等于53
- 快速的检查一下53倍这个数字是不是符合常识���嗯，这是一个相当大的比值，但加利福尼亚州毕竟是人口最多的州，所以这个结果或许是合理的，可以��续
- 好了，我现在有了我需要的所有信息
- 写下：“加利福尼亚州的人口比53倍的……”
- 觉得好像不太好，删除重写成：“加利福尼亚州的人口是阿拉斯加州的53倍。”
- 嗯，觉得还不错

也就是说，当人类写作时，哪怕是这样一个简单的句子，可能内心实际上进行了大量的运算的。

但当我们用GPT进行写作这样的句子看起来会是什么样呢？

从GPT的角度看，这只是一系列的标记（Tokens）。当GPT在接收到一个输入，比如你给出的主题。它会生成一段与输入相关的文本，GPT的目标是预测下一个词，所以它会连续生成一串词，形成一段连贯的文本。

从本质上看，Transformer只是标记模拟器，它不知道自己知道什么不知道什么，它不知道自己擅长什么或不擅长什么，它只是尽力生成下一个标记，它也不会进行反思，也不会不进行任何合理性检查。它不会纠正自己的���误，它只是产生抽样的标记序列，它没有像人类那样的内心独白流。

但是，GPT有一些优势，如它们拥有大量的基于事实的知识，并且拥有相对大的并且完美的工作记忆。GPT通过自我注意力机制，能立即获取到上下文窗口中的信息，从而进行无损记忆。然而，GPT在推理和判断方面的能力相对较弱，如果提出的问题需要更复杂的推理，单凭一个标记的信息，GPT往往无法给出正确的答案。

一些技巧可以提升GPT的表现，比如Cot（Chain of Though）设定步骤来引导GPT展示其工作过程，或者通过多次抽样然后选择最佳结果等，或者可以让GPT检查自己的输出，比如询问它是否完成了任务，最好是在Prompt中明确的要求它检查自己的输出。

后面还介绍了目前比较流行的GPT应用，比如Agent、Plugin、CoT、Embedding等

最后他用GPT-4写了一个结尾：
“女士们，先生们，2023年Microsoft Build的创新者和先���者们，欢迎来到这个独一无二的卓越人才的集结地。你们是未来的架构师，是塑造数字领域的视野家，在那里人类繁荣发展。拥抱科技的无限可能，让你的想法飞得和你的想象力一样高。让我们一起创造一个更连通，更出色，更包容的世界，为未来的世代留下。准备好释放你的创造力，探索未知，把梦想变成现实。你的旅程今天开始。”

原始视频地址：
https://t.co/xEgUV2WaE1

YouTube地址：https://t.co/fnRwGdmL1K

[roger.tei @wolfyell]

@xumouren_yt 确实，自成为百万博主后，开始给乌军指明方向了，让人家反攻毛子北方，搞得好像比赵括还厉害，串场思绪飞扬，人乌军不比你懂，所谓术业有专攻

[roger.tei @wolfyell]

@Westlife29Nic 这么大的事，怎么不早说？

[roger.tei @wolfyell]

@zhanglifan 这种博人眼球的视频也信，小爱音箱是可以自己调教的，可以预设一些问题的答案，您老不懂这方面就不要乱带节奏了

[roger.tei @wolfyell]

@wangzhian8848 签签也是老说：我的很大，你忍一下！美国司法部网���有全部的庭审文件，但凡你们村通网用苹果自带翻译或谷歌翻译一下就能知道整个过程来龙去脉，用的着你添油加醋，你采访过公主吗？何来最了解？标题党

[roger.tei @wolfyell]

@tenten19901107 这法拉利怕不是租的吧，晚上还要打工？什么凡尔赛😆

[Sha Jia @shajiabiji]

买手机的时候为什么库克不告诉我？

[roger.tei @wolfyell]

@bingyuicejade 宝马公关策划不行，直接在tiktok上做活动啊，规定就一条：在tiktok转发就可以领冰淇淋，你看还有多少人来领?还可以高喊支持字节跳动!

[roger.tei @wolfyell]

@Luxcm1 这剧还有惠英红，然后各种三角恋，骚棒们可以去b站搜“ 文西与阿漆” 专门吐槽抗日神剧的，好笑到跺jiojio，去年就吐过这部

[roger.tei @wolfyell]

@lipeng0820 感谢大佬回复，主要之前一直正常，就最近新必应更新后才出问题😂，用的圈x分流，我也再研究下