葡萄糖酸锌

Spring always

[葡萄糖酸锌 @ToBLikeWater]

@AasAa1237769 是啊，我觉得宿舍就是用来睡觉的地方，工作就应该到工位上，在宿舍真的学不下去

[葡萄糖酸锌 @ToBLikeWater]

@gbroai @FortuneCutie01 果然不管什么领域，其实核心都是通用的

[葡萄糖酸锌 @ToBLikeWater]

@BBxgxwnkl 这个x回复居然没有提示，没及时回。叫马德拉斯餐厅，你可以在xhs上搜搜看

[葡萄糖酸锌 @ToBLikeWater]

@ALEXka5h 老师总是会逮着那些能干的人薅的，之前本科的时候给当时的导师写本子，现在读博了还时不时找我一下😂

[美研芒格君 @Kay2289123]

微软这篇讲 3T 级模型预训练的技术博客，真的值得认真看，很少有人愿意把这么大的模型到底怎么训，讲得这么细、这么清楚。链接我放在后面

这次的模型叫 MAI-Base-2，由微软 MAI 团队自主训练，总参数 2.8T，每个 token 激活 80B。目前完成了预训练，后训练还在进行

几个我觉得值得分享的点
> 参数很多，每次只用一小部分。 总共 2.8 万亿参数，处理每个 token 时激活约 800 亿。这就是 MoE，按需要调用不同的“专家”，控制计算量。

> 先用小模型探路，再放大。 他们先训练一系列小模型，推算大模型的结果。连数据重复学几遍，都要和正式训练对齐。最后实际的训练误差和提前预测的非常接近，这个我觉得很厉害。

> 怎么调参，也摸出了规律。 比如学习率，可以理解成模型每次更新参数时迈多大一步。他们根据训练量、训练步数去推算，再到更大的模型上验证，减少正式训练时的试错

> 模型越大，训练稳定性越重要。 这次用了 Muon 优化器，还加了激活梯度裁剪，减少异常更新的干扰。后面这项改动很有意思，模型越大，带来的效率收益反而越明显。

> 从预训练就开始学图像。 总训练量是 50T token，其中约 9T 来自多模态数据，是原生多模态模型。

原链接：https://t.co/O0VmTp23jp

[Felix Rieseberg @felixrieseberg]

Hi, I'm Felix. I'm an eng lead working on Claude. I love watching people take flight and do things they never thought possible.

We often describe that as "being more ambitious" when using AI, which is tricky advice to follow. I wrote a tutorial:

https://t.co/vNPPs5FWm8

[Karl 卡尔 e/acc @immortal_00994]

我现在让AI帮我复习一个概念，我开头会这样prompt：

阐述xx的形式化定义/表述、重要性质/推论、直觉、提出的历史动机和应用。

之后有问题就刨根问底。

[葡萄糖酸锌 @ToBLikeWater]

好忧郁的小狗

[葡萄糖酸锌 @ToBLikeWater]

@Timehea1pain24 十一月中下旬会冷的

[葡萄糖酸锌 @ToBLikeWater]

@totittti 第一次见还能卡研究方向的

[葡萄糖酸锌 @ToBLikeWater]

@NeverMoreNg 我感觉你老板这样也不太好吧，万一在你毕业论文的时候卡你一下，说这篇文章out of control，那不是毁了

[葡萄糖酸锌 @ToBLikeWater]

@Youwo6cf 为什么会抽烟上瘾呢，一直感觉烟味很难闻

[葡萄糖酸锌 @ToBLikeWater]

@xijiu_ 找好自己的节奏就好了，别有负担

[葡萄糖酸锌 @ToBLikeWater]

@ryougiliuuu 然后我中午基本上不睡，要不就是只大概休息半个小时，晚上十一点多的时候上床基本上倒头就睡着了，是真的倒头就睡

[葡萄糖酸锌 @ToBLikeWater]

@ryougiliuuu 可以去查查看是不是缺了维d的，我之前也这样，结果发现维d水平特别低，补了一段时间后就好很多了

[葡萄糖酸锌 @ToBLikeWater]

@ryougiliuuu 还有就是甘氨酸镁，我也用了一段时间，感觉挺有效的

[葡萄糖酸锌 @ToBLikeWater]

@zzjclh 真的感觉到在社交平台推销自己的重要性了，自己做了什么好的work就应该多sell一下自己，说不定也有机会给大佬留个印象

[葡萄糖酸锌 @ToBLikeWater]

@REALeP0 好看的！

[葡萄糖酸锌 @ToBLikeWater]

但是我不知道这种是什么颜色

[葡萄糖酸锌 @ToBLikeWater]

好看！