Mew

Woooow

[♠️媚黑小喵 @XiaoMei46029]

女神坐飞机千里送逼给黑人，一次爽个够啊！开酒店和黑爹疯狂玩弄一个星期，估计一个星期以后逼从一字变成了字母O吧！#媚黑婊

[♠️媚黑小喵 @XiaoMei46029]

媚黑的人妻偷情隔壁黑人大屌猛男，每次电梯相遇都眉来眼去暗送秋波，加上微信聊情感话题，原来她老公满足不了她，趁老公出去喝酒的功夫，成功勾搭上黑人猛男，久逢甘露遇春雨，很久没有这么满足了，控制不住的骚劲 #媚黑婊

[♠️媚黑小喵 @XiaoMei46029]

骚货被黑人干的叫爸爸！
#媚黑婊

[♠️媚黑小喵 @XiaoMei46029]

黑爹操国女大肥臀，感受下强烈的黑亚反差吧！(一)

[♠️媚黑小喵 @XiaoMei46029]

黑爹操国女大肥臀，感受下强烈的黑亚反差吧！(二)

[♠️媚黑小喵 @XiaoMei46029]

黑爹操国女大肥臀，感受下强烈的黑亚反差吧！(三)

[♠️媚黑小喵 @XiaoMei46029]

黑爹操国女大肥臀，感受下强烈的黑亚反差吧！(四)

[♠️媚黑小喵 @XiaoMei46029]

黑爹操国女大肥臀，感受下强烈的黑亚反差吧！(五)

[♠️媚黑小喵 @XiaoMei46029]

黑爹操国女大肥臀，感受下强烈的黑亚反差吧！(六)

[♠️媚黑小喵 @XiaoMei46029]

是不是这样的清纯眼镜妹，和黑爹做爱反差感觉会更强烈！#媚黑 #媚黑婊

[Jason Zhu @GoSailGlobal]

Stanford CS336 上，Tatsu 讲了一节 LLM 架构课，把过去 3 年所有主流 LLM 拆开，看它们的共通模板

结论挺爆：90% 的架构选择已经收敛，你随便挑一个开源大模型，它跟其他模型在这些维度上几乎一模一样

讲师的原话
- 2024 年大家都在 cosplay Llama2
- 2025 年的主题是「怎么训得不崩」
- 2026 年的主题是「怎么扛住长上下文」

下面是 2026 年开源 LLM 的标准模板 你训自己的模型可以直接抄

【架构层 已经收敛的 7 件事】
1）Layer Norm 挪出残差流（pre-norm）
原版 Transformer 把 LN 放在残差里 几乎所有现代模型都挪到外面
原因：keep your residual stream clean 梯度反传更稳

2）RMS Norm 替代 LayerNorm
LayerNorm 的减均值 + 加 bias 那部分实际没怎么帮上忙
丢掉之后 flops 只省 0.17% 但运行时省到 25%
（瓶颈在数据搬运 计算反而次要）

3）所有 bias 项全删
跟 RMS Norm 一个道理 系统层省内存搬运

4）激活函数用 SwiGLU 或 GeGLU
gated linear unit 几乎所有现代模型都用
Llama 系 / Qwen / Mistral 用 SwiGLU
Google 系（Gemma / T5）用 GeGLU
区别极小 选哪个都行

5）位置编码用 RoPE
2024 年之后基本统一了
原理：把每对维度按位置旋转一个角度 让 inner product 只依赖相对位置

6）Transformer block 串联（不是并联）
GPT-J / Palm 试过并联 现在基本被放弃
串联的实现优化得太好了 并联省的那点系统开销不值得损失表达力

7）Layer norm 可以「撒」
哪儿不稳就在哪儿加 LN
attention 之前能加 之后能加 两边都加（double norm）也可以
现代模型很多这样做

【超参数 已经收敛的 5 个数】
1）feedforward 维度 / hidden 维度
- 非 GLU 模型：4 倍
- GLU 模型：8/3 ≈ 2.67 倍（因为 GLU 多一组矩阵 要保持总参数量）
- Llama 系：3.5 倍
- T5 1.0 试过 64 倍 后来 T5 1.1 改回标准 别学

2）head 数 × head 维度 ≈ hidden 维度
几乎所有模型都遵守 T5 是为数不多的例外

3）模型纵横比（hidden / 层数）≈ 100
太深 pipeline parallel 难做
太宽 表达力受限
100 这个数字是系统约束 + 表达力的平衡点

4）vocab size
单语模型：30K 左右（早期 GPT-2 那种）
多语 / 通用模型：100K-200K（GPT-4 / Llama 3 / Gemma 都在这个范围）
现代基本都是后者

5）weight decay
仍然普遍使用
但研究发现它在 LLM 里干的事其实是优化器干预 让你最终能收敛到更深的最优点
跟你想的「防过拟合」没什么关系
所以别因为「单 epoch 不会过拟合」就把它关掉

【稳定性 三个救命 trick】
训练大模型最怕中途 loss 突然飙升 然后 NaN 全军覆没
现代模型用三个 trick 防这件事

1）Z-loss
output softmax 的 normalizer 容易爆
加一个 (log Z)² 的正则项 让 Z 始终接近 1
DCLM / Olmo 都用

2）QK norm
attention 的 Q 和 K 在矩阵乘之前各加一个 LN
让 softmax 的输入永远是单位尺度
multimodal 圈先用起来 现在所有大模型都加

3）Logit soft cap（仅 Google 系）
attention logit 用 tanh 硬封顶
Gemma 2/3/4 都在用 但会损失一点点性能 慎用

【Attention 两个新趋势】
1）GQA（Grouped Query Attention）几乎统一
原版 multi-head 推理时 KV cache 会让算术强度崩到 1/h
GQA 共享 K 和 V 但保留多个 Q
表达力几乎不损失 推理成本砍掉 80%
现在所有要做生产部署的大模型 没有不用 GQA 的

2）局部 + 全局 attention 交替
处理长上下文的新方式
Cohere Command A 起头 现在 Llama 4 / Gemma 4 / Olmo 3 全在用
比如每 4 层有 1 层 full attention 其他 3 层是 sliding window 只看附近的 token
比纯 SSM 更稳 比纯 full attention 便宜得多
（Qwen 3.5 做了变体 把 sliding window 那 3 层换成 SSM）

收尾一句
如果你正在训自己的 LLM，上面这一套就是 2026 年的「默认配置」 不需要重新发明，直接抄

如果你只是想看懂 GitHub 上那些 modeling_xxx.py
这一份足够你不再被术语吓住

[Gattouz @gattouz0]

I creampie my fans 🥰
Next?
https://t.co/N66O1SAxMr

[Ai With Piyas @piyascode9]

🚨BREAKING: PowerPoint is officially outdated.

Claude can now create your full presentation in minutes — start to finish.

Here are 6 powerful prompts to do it all in one go.

(Save this & skip PowerPoint forever) 👇🏽

[Ajit kumar @ajitcodes]

Learn AI for free directly from top companies.

1 - Anthropic:
https://t.co/1M15GC7cOY

2 - Google:
https://t.co/AIkLM6XjVL

3 - Meta:
https://t.co/UWdSCK5daz

4 - NVIDIA:
https://t.co/B458g8uF1u

5 - Microsoft:
https://t.co/UChXyK2ZQh

6 - OpenAI:
https://t.co/Do088drBz6

7 - IBM:
https://t.co/4XKRjVNMKA

8 - AWS:
https://t.co/36WQ7H0vfT

9 - https://t.co/saSYDpvXFf:
https://t.co/mtt2yYxm6a

10 - Hugging Face:
https://t.co/YYHwWDpwPF

👇Comment "Learning" if you find this helpful.

Repost so others can take help.

Must bookmark for future reference.

[Amit @HeyAmit_]

Instead of watching an hour of Netflix, watch this 2-hour Stanford lecture that shows exactly how Stanford trains its engineers to build AI systems.

It’s more practical than every Claude tutorial and prompting thread you’ve seen.

[娜美知识库 @fhwofjow51260]

推荐一个影视站 Pomo4K，主打 4K 蓝光原盘资源。

https://t.co/bPxSSTShLx

[看不懂的SOL @DtDt666]

发现一海外老哥的深度分享，
今晚别再刷抖音消磨时间了
抽出一小时，沉下心来看完这套 Claude AI 完整教程

它能教会你自主搭建、自动化处理各类事务
今晚认真学完的兄弟，明天醒来就会掌握一项
未来两年里绝大多数人都不具备的硬核ai能力。

而选择跳过的人，或许明年此刻
还在刷着剧，困惑着生活为何始终毫无起色
路怎么走，全看你自己的选择。

积极学习 拥抱ai！

[DAN KOE @thedankoe]

https://t.co/7l7Jef99QZ

[即刻精选 @jike_collection]

为什么北欧的国家人口只有500万～900万，却能创造出全球🌍顶尖的企业。例如，瑞士的军刀，丹麦的助听器，芬兰的通信大厂，瑞典的爱立信等。
之所以如此，根源就在于北欧的各国教育。
这些国家的教育严禁用“教”（teach）这个字，而要讲“学”（learn)