Gemini-elf

[lumxss @bkdgiffug]

GitHub Trending上突然杀出一个5万多星的项目，扫了一眼，���点东西！

它教你从头训一个超小语言模型，参数量才25.8M，最小的版本体积大概只有GPT-3的1/2700，就这么一丢丢大。

摊开来看：

1️⃣ 分词器的训练方法，代码直接开源
2️⃣ 预训练到微调的全链路，一步都没省
3️⃣ 还搭了一个能看图的MiniMind-V
所有��本全是用PyTorch手写的，MoE架构也一并支持。相当于造大模型的整套流程，它从头到尾给你演示了一遍。
https://t.co/AUMYPujVqc

[Miles Ma @miles_mazy]

这是我见过把 DeepSeek Harness 讲的最详细的文章

[Miles Ma @miles_mazy]

卧槽，这篇跑到 130 万曝光了，感谢各位观众老爷的支持

[Nobin@紳士向けを作る人 @NobinLOG]

AIにまとめてもらったVRAM 8GB対応・エロ小説向けローカルLLMリスト（2026年時点）
※オススメ度は「濃厚さ・オリジナリティ・スムーズさ・拒否の少なさ」を総合した5段階評価

1. Sao10K / Llama-3.1-8B-Stheno-v3.4
- オススメ度: ★★★★★ (5.0)
- VRAM: Q4_K_M 約5GB
- 特徴: 成人向けフィクション特化。濃厚描写・キャラ一貫性・オリジナリティが最高クラス。8GB帯の金標準。
- HF: Sao10K/Llama-3.1-8B-Stheno-v3.4

2. huihui-ai / Huihui-Qwen3-8B-abliterated-v2
- オススメ度: ★★★★☆ (4.5)
- VRAM: Q4_K_M 約5GB
- 特徴: 最新Qwen3系abliteration。拒否ほぼゼロ。長文小説の構造維持と詳細エロ描写に強い。
- HF: huihui-ai/Huihui-Qwen3-8B-abliterated-v2

3. Qwen3.5-9B-Uncensored-HauhauCS-Aggressive
- オススメ度: ★★★���☆ (4.0)
- VRAM: Q4 約7〜8GB（コンテキスト制限推奨）
- 特徴: denseモデルとして能力高く、濃厚で厚みのある文章生成が得意。

4. dphn / Dolphin3.0-Llama3.1-8B
- オススメ度: ★★★★☆ (4.0)
- VRAM: Q4_K_M 約5〜6GB（128Kコンテキスト対応）
- 特徴: 創造的執筆に定評。拒否少なく、感情描写とオリジナル展開が安定。
- HF: dphn/Dolphin3.0-Llama3.1-8B

5. Undi95 DPO Mistral 7B（または類似Mistral系uncensored）
- オススメ度: ★★★★ (3.5)
- VRAM: Q4_K_M 約4.5〜5.5GB
- 特徴: 大胆なNSFW描写に特化。軽量でスピードと濃厚さのバランス良好。

6. Gemma-4-E4B-Uncensored-HauhauCS-Aggressive
- オススメ度: ★★★☆☆ (3.5)
- VRAM: Q4_K_M 約5.3GB（Q8でも7GB台）
- 特徴: クリーンに収まり拒否ゼロ寄り。軽快でオリジナリティを出しやすい。

これ全部試して精度見て良ければ、使おうと思います。

[AI最严厉的父亲 @dashen_wang]

最近 Qwen3.8 火了，我顺便给大家科普一下，Dense、MoE、Diffusion 到底是什么。

先说 Dense，也就是稠密模型。

比如 Qwen3.8-27B，你可以粗暴理解成，公司一共 270 亿员工，每来一个 Token，基本全员上班。

优点是简单、稳定、好训练，缺点也明显，模型越大，每次要搬的参数越多，所以特别吃显存带宽。

然后是 MoE，Mixture of Experts，混合专家模型。

它像一个超级大的公司，养了很多专家，但是每次只叫其中一部分出来干活。

所以一个模型可以有几百 B，甚至几 T 的总参数，但是每次真正激活的可能只有几十 B、上百 B。

这就是为什么现在很多超大模型喜欢 MoE。

脑子可以做得特别大，但是没必要每次整个脑子一起通电。

Google 的 Gemini 已经明确公开过 Sparse MoE，Grok-1 也是公开的 MoE，OpenAI 自己放出来的 gpt-oss 也是 MoE。

但是 Claude 和 OpenAI 最新旗舰到底是不是 MoE，多少专家，多少参数，目前官方都没有完整公开。

所以别看到网上有人张口就是 GPT 几万亿参数、Claude 几百个专家，就真当官方数据了。

然后还有一个越来越有意思的东西，Diffusion，扩散模型。

很多人以前只知道 Stable Diffusion 画图。

但是现在语言模型也开始玩扩散了。

传统 GPT 这种自回归模型，基本是一个 Token 一个 Token 往后写。

Diffusion 不一样，它更像先弄出一张乱七八糟的草稿，然后大家一起改，一轮一轮把答案“去噪”出来。

所以它最大的想象力就是并行。

自回归模型是一个字一个字排队下楼。

Diffusion 更像电梯一次塞一群人。

不过这里要注意。

Dense 和 MoE 说的是，一个模型内部到底怎么组织参数。

Diffusion 和自回归说的是，它到底怎么生成答案。

这是两个维度。

所以以后完全可能有 Dense + Diffusion，也可能有 MoE + Diffusion。

然后再说硬件。

Dense 最怕什么？

模型装得下，但是内存带宽不够。

所以 5090 这种显存不算特别夸张，但是带宽巨高的卡，跑 27B、32B 这种 Dense 往往特��舒服。

苹果也很有意思。

它的统一内存容量大，而且 Max、Ultra 的内存带宽也很高，所以本地跑大 Dense，其实非常香。

缺点就是 CUDA 生态没有 NVIDIA 爽。

然后是 DGX Spark、MAX+ 395 这种 128G 统一内存小主机。

它们真正牛逼的地方，不一定是跑 27B 最快。

而是。

别人装不下的东西，它能装下。

所以一旦到了超大 MoE，这种机器的价值就出来了。

MoE 很吃容量，因为所有专家都得放在内存里，但是每次只激活一部分。

所以以后买 AI 机器，真的不要再只看一个数字。

“128G 显存，好牛逼。”

没意义。

你至少得看四个东西。

总参数多少。

激活参数多少。

内存容量多少。

内存带宽多少。

再高级一点，还要看它到底是自回归还是 Diffusion。

其实现在大模型越来越像一个公司了。

Dense 是全员上班。

MoE 是专家轮班。

Diffusion 是大家先一起写草稿，再一起��。

至于 Claude、GPT、Gemini、Grok 到底内部是怎么组织这帮人的。

Google 至少经常会告诉你一些。

xAI 以前也真公开过 Grok-1。

阿里更狠，大模型直接让你下载。

然后两家巨头就比较有意思了。

OpenAI，叫 OpenAI。

但是最新模型不 Open。

Anthropic，名字听起来特别 Human。

但是模型架构一点都不跟人类说。

OpenAI 不 Open。

Anthropic 不 Human。

名字负责理想主义。

架构负责商业机密。

[实践哥 Li @MinLiBuilds]

Qwen3.8-27B 发布才几天，我又Hugging Face 看了一眼。

有点离谱。

已经冒出了 500+ 量化版、100+ 微调版。

你肯定好奇，��帮人为啥乐此不疲？

简单说，这帮人在干 10 件事：

原版：Qwen 官方，27B Dense。

量化：FP8、INT4、NVFP4，把模型压小，让消费卡跑得动。

GGUF：给 llama.cpp / LM Studio 用，本地部署最常见的格式。

Mac🍎：MLX 社区负责 Apple Silicon。

NVIDIA：NVFP4、5090 等专属优化，继续榨速度。

AMD：连 AMD 都亲自下场做 Quark / MXFP4 了 😂😂😂

Serving：SGLang、vLLM，解决高并发、KV Cache、多卡和吞吐。

配方：同一个模型，DGX Spark + NVFP4 + SGLang，参数不同速度都能差很多。

微调 / 蒸馏：Coding、Reasoning、Opus/Fable Distill，把通才改成专才。

越狱：Uncensored、Abliterated、Heretic，让模型干一切

🔥为什么这么多人免费干？

抢开发者流量
抢生态标准
给自己的硬件 / 软件引流
赚开源声望

Qwen 发布了一个 27B，几天后社区自己长出了几百个版本。

🔥如果你看完这些名词还是不知道怎么真正跑起来，推荐下面这篇开源大模型从零开始部署实战。

作者选择了 Qwen dense和 Ling-3-flash moe 模型，从选量化、装环境，到把模型真正 Serve 起来，基本把上面这些东西串成了一条完整路径。对于 Dense 跟 MoE 也进行了对比测试和详细说明。

非常适合入门阅读

[Gemini-elf @Geminielf3]

https://t.co/5MSkclEAU9

[Gemini-elf @Geminielf3]

https://t.co/IHegYizqMp

[Gemini-elf @Geminielf3]

https://t.co/0I6YPWfCKU

[Gemini-elf @Geminielf3]

https://t.co/pNP86nKkKu

[Gemini-elf @Geminielf3]

https://t.co/BYdFy9zVsI

[Gemini-elf @Geminielf3]

https://t.co/u8outaWuhQ