holycrab.eth

韭菜汁

[holycrab.eth @holycrabeth]

@jingwei80 @Michaelzsguo xhigh就是容易进死循环，这是已知的现象。变成reasoning effort medium会好很多。

[holycrab.eth @holycrabeth]

@indesjyo 民用级别 rtx pro 6000 就是 prefill 速度里的第一梯队。dgx 连尾气都看不到。

[holycrab.eth @holycrabeth]

@indesjyo vram 越大能放的模型就越大，但是 token 产生速度就是 bw 除以模型尺寸。优化能提升一定的速度，但是损失了精度。长任务下精度损失是 exponentially 增长的。

[holycrab.eth @holycrabeth]

@Lonely__MH @DracoVibeCoding 本地生图和视频哪个模型可以靠苹果？英伟达的 cuda 和独立 vram 是至少在模型生图和视频工作流里是无可替代的

[holycrab.eth @holycrabeth]

@CaptainWang_ 你搜一下谷歌就知道了。某社区C网的红版网站。注册后设置里勾选成人内容就会看到很多开源工作流了。要上手至少要本地一个qwen3.8 27b 8比特的uncensored模型+你租得到rtx pro 6000以上的显卡机器跑。不然你会痛苦死。别问我为什么知道。

[holycrab.eth @holycrabeth]

@maoshen 伤脚踝

[holycrab.eth @holycrabeth]

@fankaishuoai 昨天装了个rtx pro 6000的workstation，整个机器配置花了我16万。其中一个ssd装了服务器系统，用vllm跑了官方满血的qwen3.8 27b。context 也打满262k，--max-num-seqs 10，家里其他设备接api运行任务的时候22tps，pi框架下只要不是一次塞一整个仓库给他几乎秒回。
我说实话，已经非常舒服了。

[holycrab.eth @holycrabeth]

@CuiMao 刚买了一张 13万

[holycrab.eth @holycrabeth]

@Genshoku2 @LotusDecoder 1t 也不够，满血 27b 要 55g。算下来也就不到 18 的 tps，体验很差。

[holycrab.eth @holycrabeth]

@xinyunliu @LotusDecoder 你确定 4 比特用在 hermes 上 ok？pi 可以任务模块化，hermes 这种小白的助理估计要大语言模型足够强才能全方位的辅助。

[holycrab.eth @holycrabeth]

@dee_hw holy shit～

[holycrab.eth @holycrabeth]

@Vincent_AINotes deepseek 不支持单数，必须是 2， 4 之类的。qwen 的话，48g 跑的也是量化，且不说你 pcie 带宽现在是个瓶颈，8 比特版本的跑起来要多拉跨有多拉跨。长线任务根本不能用。

[holycrab.eth @holycrabeth]

@wei_wang 长线任务不行，我试了

[holycrab.eth @holycrabeth]

@tutulifestyle 4bit，玩个鸡毛啊，8bit 都拉跨的要死。

[holycrab.eth @holycrabeth]

@supezen 带宽肯定拉跨，不用买。

[holycrab.eth @holycrabeth]

@kevinlucifer313 @hkdom 😄我还活在两年前。819g 跑满血的 qwen 27b 的话，可以到 13t/s 吧。

[holycrab.eth @holycrabeth]

@changyeNow @fxtrader 满血版的没有这个问题，就是你的速度死死卡在你的一张卡带宽上了。

[holycrab.eth @holycrabeth]

@fxtrader @xinng1989 他是问你什么量化版本的，目测你是 4 比特的。800/42 约等于 20g 不到。精度损失这么大，也就跑跑简单的日常助理任务。