A2learner 🔳++

none BAYC, Azuki,and CloneX Holder/meebit11546/ zombie club1969/ #ordirock/#bitcoinfrogs/#rsic #blob💥💥

[A2learner 🔳++ @a5206209]

@DeeZe When the price go up, the value what people thought will also go up. Go meebit!

[A2learner 🔳++ @a5206209]

@BTCBruce1 那個男人是誰

[AI Dance @AI_Whisper_X]

WSJ把梁文峰的历史挖出来了。。

DeepSeek爆火这一周，硅谷还在持续破防中。漂亮国的人真是吓到了，WSJ又深挖了DeepSeek创始人梁文峰的一些细节，其中有一些之前的报道中没有提到，分享给大家。

全文翻译如下：
有人称他为中国的萨姆·奥特曼。
另一些人则把他比作量化投资的先驱吉姆·西蒙斯。
梁文锋与这两位创新者有很多共同之处，而且他的影响力最终可能也同样巨大。
来自DeepSeek公司的人工智能模型，在梁的带领下，以惊人的速度在全球的性能和受欢迎程度方面跻身前十（外媒有点保守了）。他们使用的是比美国可用的芯片更落后的芯片，这让硅谷的科技高管、华盛顿的政客和全球各地的投资者都感到震惊。
和西蒙斯一样，梁也是一个沉迷于投资的数学极客。他意识到，对大量市场数据进行计算机化分析可以检测出隐藏的model——并开辟通往利润的道路。他的对冲基金名为“幻方量化”，管理着大约80亿美元的资产，使其��为中国最大的量化基金之一,它是中国应用较新的AI技术的先驱。
与试图在几毫秒内抢先一步的高频交易员不同，梁和他的同事专注于中频交易，在这种交易中，头寸可以持有更长时间。
梁从西蒙斯那里获得了灵感，西蒙斯是一位数学家和量化金融的先驱，他创立了长岛对冲基金文艺复兴科技公司，并在20世纪80年代使用机器学习技术。
梁写了关于西蒙斯及其团队的书籍《解开市场的人》中文版的序言。“每当我在工作中遇到困难时，我都会想起西蒙斯的话：‘一定有一种方法可以模拟价格’，”梁写道。
据金融数据提供商Simu Paipaiwang称，在过去五年中，幻方管理的至少五只基金的平均超额收益率比市场基准高出20%以��。当然也有坎坷的时候。2021年，幻方因业绩不佳向投资者道歉，称其错误判断了市场哪些领域会表现良好。另一次艰难时刻发生在去年，当时股市不好，量化行业遭到打击，指责他们加剧了波动性的羊群行为。
技术高管和前对冲基金经理理查德·杜威表示，DeepSeek在人工智能开发方面“少花钱多办事”的策略——更小的团队，更少的资金和更少的芯片——让他想起了量化交易员。
同事们说，梁不是一个追求财富或名声的人——但他确实曾说过他想要获得美国主导的科技界的尊重。
可以说，他现在已经得到了它。
梁出生于1985年，在湛江长大，湛江是中国南部沿海的港口城市之一，几个世纪以来一直与世界进行贸易。他在学校里是个全优生，在初中时��开始自学微积分，之后进入了中国著名的浙江大学。
在校期间，梁开始编写人工智能算法来选股。2013年，毕业几年后，他创立了Jacobi，这是一家以德国数学家卡尔·雅可比命名的投资公司。2015年，他与两位大学朋友共同创立了幻方量化。“他们似乎专注于从相对少量的数据中挖掘出大量信号，这在精神上与量化交易中所需的东西相似，”杜威说。
据接近他的人说，和一些其他的量化交易员一样，梁更喜欢被认为是一名工程师而不是一名交易员。DeepSeek没有回应这个评论。熟悉幻方量化的人形容梁是一位亲力亲为的领导者，他改进算法，使其在选股和对冲风险方面更聪明，有时在赶项目时和同事一起睡在办公室里。他将进军人工智能模型描述为对计算机学习极限感到好奇的工程师的自然发展。
2019年，梁的团队开始使用英伟达图形处理单元构建计算系统。到2022年末OpenAI发布ChatGPT时，只有少数几家中国公司拥有超过10,000个英伟达的高端芯片，而幻方就是其中之一。
“这就像买一架钢琴，”梁在2023年告诉36氪，谈到购买芯片时。“首先，是因为你能负担得起。其次，是因为你有一群渴望用它演奏音乐的人。”
梁最大的决定之一是使其代码开源，这意味着任何人都可以访问它。他说他希望DeepSeek打破大型科技公司的垄断。
“对于技术人员来说，让别人跟进你的工作会带来很大的成就感，”他在去年接受36氪采访时说。“开源更多的是一种文化，而不是一种商业行为，为它做出贡献会赢得我们的尊重。”
同事们说，梁符合中国工程师的典型形象。他们说，他不太考虑衣服和发型，通过应用公式和计算来做���定，并且热爱足球。
他们说，梁一直保持低调，并惊讶地看到DeepSeek一夜之间变成了一种狂热。
突然涌入使用DeepSeek模型提出查询的人们让梁和该公司措手不及，并且自周日以来，DeepSeek的服务多次崩溃。梁与他的团队合作解决了需求问题，然后在中国的农历新年假期休息。
他不会休息太久。同事们说，假期过后，梁将回到工作岗位，开发DeepSeek的下一代模型。

DeepSeek爆火这一周，硅谷还在持续破防中。漂亮国的人真是吓到了，WSJ又深挖了DeepSeek创始人梁文峰的一些细节，其中有一些之前的报道中没有提到，分享给大家。
精华版本（全文参考图片）：
这位湛江少年从初中就开始自学微积分，后考入浙大。毕业后创立对冲基金"幻方量化"，短短几年做到管理80亿美元规模，成为中国最大量化基金之一。
但他骨子里是个工程师。不修边幅、用数学思维做决策、���赶项目和团队一起睡办公室。2019年，凭着对AI的好奇心，他开始布局深度学习，买下上万块英伟达芯片开始实验。

[Jeff Li @jefflijun]

李老师讲课，什么是大模型的蒸馏(distillation)，以及我们应该如何看DeepSeek遭遇的“模型蒸馏”指控

[fin @fi56622380]

看了下DeepSeek论文，做了点笔记和思考

DeepSeek降低训练成本会不会让算力需求下降？看历史就知道了，GPT4级别token价格在一年半之内降低了100~1000倍，也没有类似的担忧(如图)

AI算力通缩是必然现象，长线旋律就是十年加速六个数量级：软件/算法加速三个数量级，硬件加速三个数量级

------------------------------
先从DeepSeek R1论文本身说起

Deepseek本身并没有像chatgpt o1那样做test time scaling获得更强推理能力，属于post-training后训练范畴，看起来和chatgpt o1不是一个路子(o1是推理的时候专门扩大“思考步骤”或“搜索过程"再挑出最优，推理时耗费比o4高几个数量级)，只不过在benchmark/推理水平上达到了相同的水平

所以从推理token价格来说，deepseek和o1比降低了27倍也是合理的。

DeepSeek-R1 是在 “DeepSeek-V3-Base” 这个预训练好的模型上进行 RL强化学习，reward机制是基于规则的奖励(rule-based reward system)，而不是普遍使用的过程奖励process neural reward model或者靠纯结果outcome

规则奖励分两个部分：
• 准确性奖励（Accuracy Reward）： 对于有确定答案的问题，评估模型生成的答案是否正确。
• 格式奖励（Format Reward）： 确保模型在回答中遵循指定格式，比如说

<think> 推理过程 </think>
<answer> 最终答案 </answer>

可能是因为对推理过程有规则奖励，也“涌现”出了生成推理过程的“顿悟时刻（Aha Moment），模型自己生成的CoT过程越来越长，还学会了反思(reflection)，和自我纠错和exploration探索举动，这都是提高推理能力的普遍过程

DeepSeek-R1主要贡献是证明 LLM 可以在无监督数据的情况下，通过强化学习RL提高推理能力

通过这个“规则奖励”以及GRPO，不需要大量人工编写/标注复杂的 CoT 数据来提高推理能力，直接把模型推理能力提高到o1水平，同时成本还很低

-----------------------
为什么这个RL提升推理能力的方法以前没人��过呢？

其实两年前就试过了(伯克利)，但当时只有LLAMA第一代模型能力不足，GSM8K跑分都非常低，推理和数学能力太低。那个时候LLAMA2-HF效果好得多，因为在预训练语料里已经有一些CoT的文本，所以后来的RL可以直接利用并强化这些“人类式思考”的片段，而早期模型往往生成的推理过程非常混乱。

另外早期基准（GSM8K等）太简单，模型可能能“轻松”地蒙中答案、或者通过一些相对简单的做法就拿到高分。
当任务足够难，模型只有先探索/反思/纠错，才能更稳定地拿到正确解答，RL才会往这个方向去“逼”模型学会更复杂的思维过程

-----------------------
还有一个scalable的问题很重要，DeepSeek-R1的低成本训练方法如果继续加大模型规模、增加算力，用相同或类似的 RL 训练流程，能不能进一步提升性能？

理论上看起来是可以的��R1论文里也说需要更大规模的RL和更大的base model来推进frontier(如图)。从这一段来看，说DeepSeek-R1是从o1蒸馏而来也是不对的

如果DeepSeek-R1的低成本训练方法能够scalable，那么说明这是广义上scaling law的另一个进步 -- 一个新的S型曲线来维持scaling law的延续(on track)

---------------------------------
再来说说DeepSeek对算力的影响

这一轮算力军备竞赛的起点和动机是，scaling law带来的性能提升没有看到天花板(confirmed by Mark)，所以大家才会疯狂的投入，这是和以前都不一样的地方

所以关键问题不在于deepseek用十分之一的算力取得了相同的结果，而是Deepseek的方法能不能scalable，给scaling law续命，这才是决定性因素

只要scaling law还能继续，在AI上的capex就只会继续增加

就像摩尔定律一样，只要摩尔定律继续延续，芯片的市场会增大，在芯片制程上的研发成本就会持续增加

Deepseek降低成本训练方法可以scaling，可以看��是一个新的S型曲线，让AI界的摩尔定律延续：随着规模的增大，模型性还能变得更好

类比到芯片里，如果芯片里突然有一项开源技术，让所有芯片的单位面积上容纳的gate数量原地翻倍，会有人担心台积电订单减半吗？

不会

如果发生这种情况，最开心的就是所有的fabless芯片设计厂商，Intel/AMD/qualcomm马上就能设计出新一代性能翻倍的芯片，那消费电子的换机潮岂不是要疯狂

消费电子的OEM也会开心，手机和电脑换代得卖疯了。

还是那句话，AI算力属性本来就是指数型通缩的，长线来看就是十年加速六个数量级，软件/算法加速三个数量级，硬件加速三个数量级

软件/算法的加速意思是用更少的资源去实现相同的效果(正如DeepSeek R1)，硬件的加速包括半导体工艺提升，架构提升，以及带宽/互联和规模提升带来芯片的算力加速(算力提升)

现在训练一个GPT4级别的成本，和两年前比起来，恐怕还不到十分之一

会有各种��的方法去延续这个AI算力指数级加速，正如引文里说的那样，每一种方法都是一个新的S曲线，很多个技术曲线的scaling law前赴后继的组成了一道一道S型技术曲线，累积叠加维持指数级增长的幻象

性能提高的同时成本的指数型降低，带来的是AI应用门槛的指数级降低，一定会让整个生态更加繁荣，诞生出更多需求

我们只需要看，最近有没有新方法维持十年加速六个数量级的进展？如果没有，那才是需要担心AI停滞的时候

[JUNDE WU @JundeMorsenWu]

我之前说OpenAI>Deepseek，所以追赶OpenAI的临门一脚到底差在哪里？先说结论，我认为是超高质量的RLHF (Reinforcement Learning from Human Feedback)，也就是人类反馈

Deepseek-R1这次的训练，仅利用了rule-based outcome reward，也就是数学题答案对错/测代码能不能跑通，训练出来了超强的逻辑，在math/code打平了O1。但是正如他们论文中也有提及，这样的训练是有损于模型表达的，所以经常能看到Deepseek的回答是有内在逻辑的，但是缺乏对逻辑之间转折的解释，以及观点之间细粒度的桥接。

另外也不是问题都需要推理，很多领域还需要的是经验性的判断，约定成俗的规则，��象概念的理解，道德价值观的考量，模型在这些问题强行推理就会答偏。

能不能在开放问题上得到符合人类标准的答案取决于RLHF，简单来说就是让人给模型的答案打分，然后训练模型在人类那里得到更高的分数。 这里面算法能带来的提升很有限，主要是人力资源的较量：当模型越聪明越专业，我们就一定需要更加专业的领域专家来进行打分，毕竟一小时5刀的外包标注员是不可能对人文，艺术，法律，医学，生物等等专业领域的回答正确打分的---AI本身的专业度已经远远超过普通人。当然要雇佣更高级的专家进行标注的成本也是很高的。

openai对于RLHF有很深的理解，半年前就已经开始已经招聘相关领域博士来对模型回答进行标注。我们现在看到deepseek通过R1的训练已经达到o1的逻辑水平，差的，可能就在于人类专家对齐

所以，合理推测，类deepseek推理训练+博士级别的人类反馈，可能就是openai的所有秘密

[勃勃OC @bboczeng]

弄懂DeepSeek需要至少阅读两篇论文：

一篇，是介绍DeepSeek R1和DeepSeek R1-Zero的无监督增强学习推理模型，这里面就有很多细节，

比如DeepSeek R1其实用到了监督数据，而不是完全的无监督RL。因为完全的无监督RL会���现很多问题，比如可读性差，语言混合等。至于到底有没有用ChatGPT的数据，他没说，估计用了也不会承认。

另外就是被传的沸沸扬扬的蒸馏（Distillation），这倒完全是个误会。因为DeepSeek的Distillation不是来自GPT，而是对DeepSeek R1本身的Distillation，把他们Distill到了Llamab和QWEN

另外一篇，是DeepSeek-V3 base model的Technical Report，这篇我正在看。看完之后就可以写日报了。

这能帮助我们了解DeepSeek到底有多少Hype，以及投资方面如何决策。

谢谢大家。

晚安。

[A2learner 🔳++ @a5206209]

@rock_bot21 bc1pnunegsr75pupzquw2p2m3k46904aan5nt7ftguqhcnfeqszj69jq9rmx5v

[GR63sinceWeeyums @Elango1993]

regardless of if they make an announcement or not I will be holding my @rune_coin to zero.

it’s not far from it anyway

[A2learner 🔳++ @a5206209]

What if #rsic become an Ai agent and partner with some blue chip ordinal project, will be legendary 💕

$runecoin

[BWeys 📈 @bweys_nft]

To be transparent with you:

I can’t shake the feeling all these things are related

🫡

[jeez @jeez07z]

@bweys_nft Nodemonke gifted honorary to 9gagceo and Char on the same day of runecoin x Memeland collaboration. It is all connected @Sh1l1b34tRun3St

[Elon Musk @elonmusk]

We are going to position Cybertrucks with Starlinks and free WiFi in a grid pattern in the areas that most need it in the greater LA/Malibu area

[A2learner 🔳++ @a5206209]

@m30_2022 @Brian02203 @JJBx2022 @yonglin79669071 最期待 FIL

[A2learner 🔳++ @a5206209]

@m30_2022 @Brian02203 @JJBx2022 @yonglin79669071

[A2learner 🔳++ @a5206209]

@Nicholas_vegass Is this loading information related to runecoin?

[wutaner @wutaner]

追热点买10倍币技巧

在推特上我有个“勤奋且牛B的KOL”列表，抓热点轮动只看这几个人的推文就够了。

比如有天我看到巫师 @0xcryptowizard 提到了某个币，憨厚的麦总 @Michael_Liu93 也在说，那基本就可以跟了。如果这时候奶子哥也发了“买了点**，已套勿跟”，就可以再加仓一点。

还有勤奋的镭射猫 @BitCloutCat ，信���链捕手 @DUANMEI11 ，區塊日記 @Ed_x0101 的推文，都是第一手重点关注的资料。

如果最终就连老赵 @mrzhaoeth 和 66姐 @nft66_666 也在推某个币或者图，那就果断上车，大仓位。

[A2learner 🔳++ @a5206209]

@Panibj @BigH2049 #ribbit

[A2learner 🔳++ @a5206209]

@xixikawaii @star_okx @Mercy_okx @mia_okx 賣不出去呀

[A2learner 🔳++ @a5206209]

True 🤞🏻

[juanse @The0xJuan]

I haven’t sold one single $RSIC, and I’ve kept all the RSICs that I received (I added a bunch too).

My delusion is at max levels. If I get rewarded with the massive rally I envision, it will be the biggest reward in the history of this place. Maybe only comparable to Bonk Guy’s bet during 2023.

The rune that started everything.