CryptoRiderW 🌖

#LUNAtics 🌖
@galactic_punks #4569

[CryptoRiderW 🌖 @cryptoriderw]

Oops achievement unlocked.

FatMan could not accept criticism 🤣

[Jason Zhu @GoSailGlobal]

Stanford CS336 上，Tatsu 讲了一节 LLM 架构课，把过去 3 年所有主流 LLM 拆开，看它们的共通模板

结论挺爆：90% 的架构选择已经收敛，你随便挑一个开源大模型，它跟其他模型在这些维度上几乎一模一样

讲师的原话
- 2024 年大家都在 cosplay Llama2
- 2025 年的主题是「怎么训得不崩」
- 2026 年的主题是「怎么扛住长上下文」

下面是 2026 年开源 LLM 的标准模板 你训自己的模型可以直接抄

【架构层 已经收敛的 7 件事】
1）Layer Norm 挪出残差流（pre-norm）
原版 Transformer 把 LN 放在残差里 几乎所有现代模型都挪到外面
原因：keep your residual stream clean 梯度反传更稳

2）RMS Norm 替代 LayerNorm
LayerNorm 的减均值 + 加 bias 那部分实际没怎么帮上忙
丢掉之后 flops 只省 0.17% 但运行时省到 25%
（瓶颈在数据搬运 计算反而次要）

3）所有 bias 项全删
跟 RMS Norm 一个道理 系统层省内存搬运

4）激活函数用 SwiGLU 或 GeGLU
gated linear unit 几乎所有现代模型都用
Llama 系 / Qwen / Mistral 用 SwiGLU
Google 系（Gemma / T5）用 GeGLU
区别极小 选哪个都行

5）位置编码用 RoPE
2024 年之后基本统一了
原理：把每对维度按位置旋转一个角度 让 inner product 只依赖相对位置

6）Transformer block 串联（不是并联）
GPT-J / Palm 试过并联 现在基本被放弃
串联的实现优化得太好了 并联省的那点系统开销不值得损失表达力

7）Layer norm 可以「撒」
哪儿不稳就在哪儿加 LN
attention 之前能加 之后能加 两边都加（double norm）也可以
现代模型很多这样做

【超参数 已经收敛的 5 个数】
1）feedforward 维度 / hidden 维度
- 非 GLU 模型：4 倍
- GLU 模型：8/3 ≈ 2.67 倍（因为 GLU 多一组矩阵 要保持总参数量）
- Llama 系：3.5 倍
- T5 1.0 试过 64 倍 后来 T5 1.1 改回标准 别学

2）head 数 × head 维度 ≈ hidden 维度
几乎所有模型都遵守 T5 是为数不多的例外

3）模型纵横比（hidden / 层数）≈ 100
太深 pipeline parallel 难做
太宽 表达力受限
100 这个数字是系统约束 + 表达力的平衡点

4）vocab size
单语模型：30K 左右（早期 GPT-2 那种）
多语 / 通用模型：100K-200K（GPT-4 / Llama 3 / Gemma 都在这个范围）
现代基本都是后者

5）weight decay
仍然普遍使用
但研究发现它在 LLM 里干的事其实是优化器干预 让你最终能收敛到更深的最优点
跟你想的「防过拟合」没什么关系
所以别因为「单 epoch 不会过拟合」就把它关掉

【稳定性 三个救命 trick】
训练大模型最怕中途 loss 突然飙升 然后 NaN 全军覆没
现代模型用三个 trick 防这件事

1）Z-loss
output softmax 的 normalizer 容易爆
加一个 (log Z)² 的正则项 让 Z 始终接近 1
DCLM / Olmo 都用

2）QK norm
attention 的 Q 和 K 在矩阵乘之前各加一个 LN
让 softmax 的输入永远是单位尺度
multimodal 圈先用起来 现在所有大模型都加

3）Logit soft cap（仅 Google 系）
attention logit 用 tanh 硬封顶
Gemma 2/3/4 都在用 但会损失一点点性能 慎用

【Attention 两个新趋势】
1）GQA（Grouped Query Attention）几乎统一
原版 multi-head 推理时 KV cache 会让算术强度崩到 1/h
GQA 共享 K 和 V 但保留多个 Q
表达力几乎不损失 推理成本砍掉 80%
现在所有要做生产部署的大模型 没有不用 GQA 的

2）局部 + 全局 attention 交替
处理长上下文的新方式
Cohere Command A 起头 现在 Llama 4 / Gemma 4 / Olmo 3 全在用
比如每 4 层有 1 层 full attention 其他 3 层是 sliding window 只看附近的 token
比纯 SSM 更稳 比纯 full attention 便宜得多
（Qwen 3.5 做了变体 把 sliding window 那 3 层换成 SSM）

收尾一句
如果你正在训自己的 LLM，上面这一套就是 2026 年的「默认配置」 不需要重新发明，直接抄

如果你只是想看懂 GitHub 上那些 modeling_xxx.py
这一份足够你不再被术语吓住

[Orange AI @oran_ge]

令人兴奋
Databricks 在上周推出了 DBRX 开源大模型，成为开源 LLM SOTA
- 通用指标，超越 Gemini 1.0 Pro 和 GPT-3.5 Turbo
- 编程能力，超越专门用于代码生成的模型 CodeLLaMA-70B
- 细粒度的MoE架构，132B个参数，16专家选4，32K 上下文
闭源模型亚历山大
https://t.co/uV1XRU3Q8G

[Yam Peleg @Yampeleg]

The first model to beat 100% of ChatGPT-3.5
Available on Huggingface

🔥 OpenChat_8192

🔥 105.7% of ChatGPT (Vicuna GPT-4 Benchmark)

Less than a month ago the world witnessed as ORCA [1] became the first model to ever outpace ChatGPT on Vicuna's benchmark.

Today, the race to replicate these results open-source comes to an end.

Minutes ago OpenChat scored 105.7% of ChatGPT.

But wait! There is more!

Not only OpenChat beated Vicuna's benchmark, it did so pulling off a LIMA [2] move!

Training was done using 6K GPT-4 conversations out of the ~90K ShareGPT conversations.

The model comes in three versions: the basic OpenChat model, OpenChat-8192 and OpenCoderPlus (Code generation: 102.5% ChatGPT)

This is a significant achievement considering that it's the first (released) open-source model to surpass the Vicuna benchmark. 🎉🎉

- OpenChat: https://t.co/lglHYQpo2A
- OpenChat_8192: https://t.co/XU9o3GaVsg (best chat)
- OpenCoderPlus: https://t.co/qwPCD8mXkg (best coder)

- Dataset: https://t.co/tXj34fv5Wp

- Code: https://t.co/WhS5dPq6ml

Congratulations to the authors!!

---

[1] - Orca: The first model to cross 100% of ChatGPT: https://t.co/vRyupCy7Tg
[2] - LIMA: Less Is More for Alignment - TL;DR: Using small number of VERY high quality samples (1000 in the paper) can be as powerful as much larger datasets: https://t.co/58bo1qarSl

[FENG DONG @middlefeng]

看到最后。

[fox hsiao @pirrer]

OpenAI 是怎麼做出ChatGPT 的，在那里工作又是一種怎樣的體驗？我們採訪了參與ChatGPT 訓練工作的@ Trinkle，請他為我們講了講ChatGPT 背後的工作，以及他是如何一路學習成長並進入OpenAI 工作的。

https://t.co/CNeiEUzhDM

[Tim Qian @Tim_Qian]

Introducing https://t.co/mYBLXrANtB: Create. Use. Share. ChatGPT Prompts

[Mayo Oshin @mayowaoshin]

I built a GPT-4 'Warren Buffett' financial analyst to 'chat' with and analyze multiple PDF files (~1000 pages) across @elonmusk's Tesla 10-k annual reports (2020-2022)

#gpt4 #openai #investing #stocks #finance

[Jiayuan (JY) Zhang @jiayuan_jy]

如何基于 ChatGPT 创建个人的知识库 AI

经过几周的内测，现在正式发布 Copilot Hub 👇

https://t.co/ofSQR0JVOc

Copilot Hub 是一个帮助你基于私有数据创建智能知识库 & 人格化 AI 的平台。你可以基于文档、网站、Notion database 或其他数据源在几分钟内创建一个自定义的 ChatGPT。

🧵

[CryptoRiderW 🌖 @cryptoriderw]

@oran_ge 並不是每個人都希望自己的作品成為AI的養份的。尤其是一些寫作的可能把很多自己的靈感放在筆記裡面，如果app直接把這些embed了去基本上是盜竊了原作者的idea

這不是跟不跟潮流的問題，而是隱私以及尊重原作的問題

[DAIR.AI @dair_ai]

Top ML Papers of the Week (Mar 13 - Mar 19):

- GPT-4
- FlexGen
- NeRFMeshing
- Resurrecting RNNs
- An Overview of Language Models
- Universal Prompt Retrieval for LLMs
...

[DAIR.AI @dair_ai]

Prompt Engineering Guide

ICYMI, we recently launched the prompt engineering guide that makes it easier to stay up-to-date with prompt engineering techniques and papers.

https://t.co/UrrKL5xHu6

[Jiayuan (JY) Zhang @jiayuan_jy]

在 M2 的 Macbook Air 上进行 LLaMA 7B 模型的本地推理 🤯

虽然目前生成的效果还比较差，但是推理速度极快。真正做到了消费级硬件推理，开源社区生态发展太快了。

视频未加速。

https://t.co/A9cTddgiGd

[Stanford Blockchain Club @StanfordCrypto]

1/ SBR Updates: We've just published Articles 5-7 of Volume 1, covering on-chain socials, crypto insider trading, and GameFi economics! (Easter eggs in 🐣 🧵👇)

Thanks to our authors @bridge__harris @sophfuji, @sabina_beleuz, @0xCousinSY 📚 🎉🎉

https://t.co/gCboStLKHX

[Zain Kahn @heykahn]

GPT-4 will make you superhuman.

But only if you know how to use it effectively.

Here are 10 ways you can start using GPT-4 today:

[宝玉 @dotey]

朋友在写prompt，想让ChatGPT帮忙按照要求格式输出，老是不对，于是我帮他改了一下，成了

BTW: OpenAI的PlayGround用来调试prompt很方便的
https://t.co/tvROdhz0I7

[yetone @yetone]

大家好！现在全平台的 OpenAI Translator 已经支持深色模式，感谢 tywtyw2002 和 @lazy_static 同学的贡献！

https://t.co/F2loftYH4A

[Harsh Makadia @MakadiaHarsh]

All Unbelievable examples of GPT-4:

[Jiayuan (JY) Zhang @jiayuan_jy]

OpenAI 刚刚发布了 GPT-4

GPT-4 是大型多模态模型（large multimodal model），支持图像和文本的输入，并生成文本结果。

这个 thread 会汇总一下有关 GPT-4 的一些信息（包括论文中的一些要点和实际的体验）。

🧵

[McQuaid @michaelgmcquaid]

My list of the best #crypto traders to follow on CT:

@trader1sz
@Trader_XO
@CanteringClark
@Tradermayne
@TraderKoz
@Crypto_Chase
@BobLoukas
@BigCheds
@Nebraskangooner
@Pentosh1
@canuck2usa

[CallMeWhy @PleaseCallMeWhy]

LlamaIndex (GPT Index) 极大的降低了我这种 AI 菜狗的定制化门槛。。。只要准备好知识库，跑个几行 python，chatGPT 就能用自己的知识库做问答了。推荐这篇 https://t.co/HzzmeS9QrF，里面有作者的 Colab Notebook ，一眼就会，开箱即炼。