疯狂巨鲨🦈

这个人太懒了，什么也没说

[karminski-牙医 @karminski3]

DeepSeek真的是性价比和技术双重斩杀线...

有同学看不懂DSpark是啥, 简单给大家写个小教程讲讲.

推测性解码(投机解码)这个技术是用来提升大模型输出速度的. 本质是让小模型给大模型接话, 大模型判断小模型说的对不对. 因为现在模型普遍卡内存带宽, 而GPU算力是富余的, 所以大模型的prefill速度(看字)比decode速度(吐字)快很多. 那么让小模型沿着大模型的思路先说一段话, 大模型判断对不对(只需要看字), 只要小模型猜对了, 那么这就利用了prefill速度, 吐字就会成倍的提升.

但问题来了, 外挂小模型也要看字(prefill), 也要占用显存, 也要吃显存带宽. 那么有没有更好的方法来解决呢? 来了, 这就是DSpark.

看我的这个图(左侧DSv4架构图是 @rasbt 大佬的), DSpark 接在了 Final RMSNorm 过程中. 不是接一个完整的小模型, 而是一个3 层的MTP(多Token预测)微型Transformer堆叠.

大模型算完前面60多层后, 刚把当前这句话的"高浓缩概念"(特征向量/隐藏状态)推到 Final RMSNorm 这个出口，还没来得及翻译成具体文字时，DSpark开始截胡:

首先是半自回归极速脑补 (MTP + Markov Head), DSpark自己有一丢丢参数, 然后它就瞬间并行猜5个字(特征向量), 然后再用自己内部的一个串行网络理顺逻辑. (注意啊,先并行然后串行消除并行导致的逻辑不连贯).

然后, 它会有一个置信度预测头, 预判自己猜的准不准, 比如5个字的后2不准就直接砍掉, 防止后续送回大模型浪费算力.

最后把留下的3个字塞回词表映射层, 把向量翻译为token. 到此为止DSpark工作就做完了.

然后就是大模型扫一遍DSpark输出的对不对(只用prefill，不decode), 一旦正确了, 就直接吐字, 这样之前模型一次只能吐一个字, 现在就能吐3个字了!

最后, 推测性解码是不会降智的, 速度能提升60%-85%! 之前是雇一个小模型帮忙写草稿, 现在则是直接脑子里植入芯片了.

目前SGLang已经有这个特性的PR了(29538), 而且DeepSeek刚在自己的HuggingFace主页发了一大堆小模型的DSpark魔改版. 大胆猜一波未来发布的模型会不会标配DSpark?

#dspark #deepseek #投机解码 #推测性解码

[疯狂巨鲨🦈 @RangeTchong]

@DRbitcoin36 自建vps没那么难，封锁力度也没那么夸张

[疯狂巨鲨🦈 @RangeTchong]

@canghe bro，人家只是懒得搭理你

[疯狂巨鲨🦈 @RangeTchong]

@sikixune @SFbearface 警方绝对有处罚权的，此事在招警考试中亦有记载

[疯狂巨鲨🦈 @RangeTchong]

@lidangzzz 是这样的，包括qt这些，新手自学的话也挺逆天的

[疯狂巨鲨🦈 @RangeTchong]

@__Inty__ 别真让人说中了，川taco发现只要绕过中国，拿捏欧日韩简直没压力，才故意这么玩儿的🤣

[疯狂巨鲨🦈 @RangeTchong]

谁会笑到最后

[疯狂巨鲨🦈 @RangeTchong]

@USA_China_Talk 你抗吧几级？

[疯狂巨鲨🦈 @RangeTchong]

@asukastark a姐你知道的，大家一直都站在你这边的，早日法办钵钵鸡

[疯狂巨鲨🦈 @RangeTchong]

@whyyoutouzhele 李颖不也天天拿中国人开玩笑嘛，看你🍬的，还给你正义上了😅

[疯狂巨鲨🦈 @RangeTchong]

@lidangzzz 他可能不知道，比亚迪搬电池的一个月8k，中专文凭有力气就够了

[疯狂巨鲨🦈 @RangeTchong]

@houshayueguang 唉唉 被反贼粉红两边骂

[疯狂巨鲨🦈 @RangeTchong]

@DragonRaja_rain @OhonoJP @BingLiu34173809 车床都用来大量加工的，人都说了不出量了

[疯狂巨鲨🦈 @RangeTchong]

@kingluffywang 他之前还有期视频吹过中国电车实打实有技术底蕴的就只有一个比亚迪，好几年前的视频了，我老散粉了，记得清

[疯狂巨鲨🦈 @RangeTchong]

@seclink 不够的小阿giao可以补吗？

[疯狂巨鲨🦈 @RangeTchong]

@Konekoutena 比起李颖，你确实是个fw😂

[疯狂巨鲨🦈 @RangeTchong]

@iamcheyan @chumacn @br9852000 一会儿初码和曾颖再给你上一课“立场不坚定两头挨打”

[疯狂巨鲨🦈 @RangeTchong]

@VicGriffith1001 就用基础把炸馒头给爆了，这样才能打真伤

[疯狂巨鲨🦈 @RangeTchong]

@bboczeng 711的沙拉只要9块人民币一份，一美元多一点

[疯狂巨鲨🦈 @RangeTchong]

@VicGriffith1001 a姐你来一手傅里叶变换才是对炸馒头最大的破防