Top Tweets for #KimiK31Pro

😳震惊！vLLM直接砍掉Kimi K3.1 Pro 75%专家，体积暴降到476GB！ 2.8万亿参数的超大MoE模型，被粗暴剪到只剩约700-750B参数，模型文件直接压到476GB，原始每层896个专家只保留224个，砍掉75%，属于校准无关的实验性剪枝，专门用来做vLLM服务和性能测试。 核心亮点： 🔹参数从2.8T暴降到约700-750B，体积只剩476GB 🔹每层专家：896 → 224（保留25%） 🔹定位是烟雾测试/性能调优，不是能正常用的模型 🔹GSM8K准确率从原版约95.5%直接掉到34.4%，质量回退非常明显 🔹官方明确说输出基本不可用，只适合跑服务和基准 使用步骤： 1️⃣安装支持该模型的vLLM（需trust-remote-code） 2️⃣直接运行： vllm serve mgoin/Kimi-K3-pruned75 \ --served-model-name kimi-k3-pruned-75pct \ --tensor-parallel-size 4 \ --trust-remote-code \ --gpu-memory-utilization 0.95 \ --max-model-len 32768 \ --kv-cache-dtype fp8 3️⃣服务起来后用OpenAI兼容接口调用测试 模型地址：https://t.co/9t7xtDuuKo
 #Kimi #vLLM #MoE #开源模型 #AI剪枝 #大模型本地部署 #杨植麟