Marvin

工程师，喜欢一点人文社科。有一辆小车。多多思考。

[Marvin @eeeelela]

@Xudong07452910 谁不是，我还在行业内，知道很多公司订单都接不过来了，也没买

[Marvin @eeeelela]

@SBG_jerry_1006 这个还有待考虑，是一个工程问题

[Phoenix Yin @Phoenixyin13]

Zhu Liang的观点在数学上绝对正确。

当下，大模型的训练机制确实天然地在扼杀绝对意义上的原创。

无论是预训练还是微调，模型的任务都是预测下一个 Token 或对齐人类偏好。
在这个过程中，它的核心目标是 ⁠Reduce Loss，也就是追求不犯错、更合规、更符合既有事实。

但是，如果一个模型在训练中输出了极其离奇的新点子、在损失函数的眼里，这通常意味着高 Loss，会被无情地修正和惩罚。

可创新往往意味着打破常规，在概率分布上属于低概率的点Outliers。

模型的底层逻辑是求同和对齐，而纯粹的原创则是求异和颠覆。

但我想谈谈在应用上我对大模型的想法。

人类的知识库是有限的，而 LLM 拥有人类全量知识的索引。
当它在Temperature调高时，能够把两个人类平时根本想不到的、跨度极大的领域缝合在一起。
这种组合创新，依旧是非常有价值的 Novel Idea。

跟 LLM 讨论的目的，往往不是为了让它直接给你一个标准答案，而是利用它的高并发和广度来查漏补缺。
它抛出的 10 个平庸点子，可能会突然触发人类大脑中的第 11 个灵感。

这就是LLM的催化效应。

我听说，在RL中科学家们正在引入更多的探索机制，鼓励模型在特定任务下脱离 Ground Truth 去尝试低概率的路径，类似于 AlphaGo 下出人类看不懂的“神之一手”。

当大模型自己生成论文、自己验证代码，一旦通过客观世界的编译器或数学逻辑验证，这个原本高 Loss的创新就会变成新的 Ground Truth，从而打破既有知识的边界。

不要迷信 AI 的智慧，但把AI 吐出来的线索串联成真正的火花，也不失为一种连接

[Marvin @eeeelela]

@conspiracyslyr 望远镜自己可以进行修复吗？

[Marvin @eeeelela]

@ptrschmdtnlsn 这太酷了，以往这个需要进行大规模建模和仿真才能得到。

[Marvin @eeeelela]

@tphuang 这不是t-head的产品，是阿里巴巴的另一个部门做的

[Marvin @eeeelela]

@mengyan1234567 欧元自己贬值不就解决问题了吗？（狗头）

[Pallavi @pallavishekhar_]

- Math behind Attention- Q, K, and V
- Math behind √dₖ Scaling Factor in Attention
- Math Behind Backpropagation
- Math Behind Gradient Descent
- Math Behind Cross-Entropy Loss
- Math Behind RoPE (Rotary Position Embedding)
- RMSNorm (Root Mean Square Layer Normalization)

[Marvin @eeeelela]

@SpermCapital 确实牛逼啊

[Marvin @eeeelela]

@grgerwcwetwet 有意思

[Marvin @eeeelela]

@Yuki27__ 太不专业了

[Interlatent @interlatent]

Hardware is the bridge between AI and the physical world

Atoms and bits must work together to create future systems embedded with physical intelligence

We wrote a guide for those curious about the atoms.

[outside five sigma @jwt0625]

the world of advanced packaging is getting crazier and crazier and I am here for it, and we are still so early

(glass panel stuff no earlier than 2029)

(10 Tbps/mm clearly needs DWDM, or I guess a big array of VCSELs)

[Marvin @eeeelela]

@CalmanBTC 去年去过沪士工厂参观交流，很可惜当时没买股票。

[Marvin @eeeelela]

@turingbook 当时还记得openbmb有个网课，开上了一些

[Marvin @eeeelela]

@x86deadandback 没有。需要看下三星工艺的功耗密度是多少，是不是有别的方案进行供电和散热。

[Intel Foundry @Intel_Foundry]

At #VLSI2026, Intel Foundry showcased innovations powering the future—from Intel 18A-P advancements like Power Boost and backside power delivery to next-generation technologies.

Read more: https://t.co/g93LmwOkOI

#IntelFoundry

[Marvin @eeeelela]

@Mar364503 太牛逼了

[Andreas Schilling 🇺🇦 @aschilling]

New logic Vt offering for #Intel18A-P:

- ULVTLL (ultra low voltage low leakage) between LVT and ULVT.

Via a thinner handling wafers, new materials and optimized EDA tool flow the thermal conductivity is improved.

#Intel18A-P is currently in risk production

[Jiao Xianjun @jxjputaoshu]

Starlink UL signal reverse engineering. Never saw such a concrete and detailed and verified by real setup before (Maybe I am wrong). There are many DL signal reverse engineering.