ZINWIN

A human pursuing true artificial intelligence.

[shiaho @shiaho777]

这种结论太无脑了，很明显，他存在事后归因谬误。
这也违背了目前国内开源模型仍在进步的事实，qwen4刚刚发布，并且官方称每天都在进步，这很明显是仍在SFT阶段，也是qwen的老做法了。
如果仅是因为anthropic关闭了蒸馏方法中国模型就无法取得任何进展，那么这就违反了qwen4仍在持续进行SFT的事实，因为蒸馏就是包含回答、推理过程、工具调用轨迹、评分偏好、合成数据，而这些都在SFT范围中。
而且他不知道蒸馏具体是什么，把蒸馏当成了一种能直接决定模型发展的东西。或者只是为了得到争议。
如果中国模型在那之后继续取得进展，这类人可能会换一种说法：中国模型蒸馏了gemini和muse，破解了cot，甚至偷了权重。
实际上这些进步大多来自在架构 数据和训练上的工作。
蒸馏是后训练的一种数据来源，不会阻止模型进步。
国模最近处于至暗时刻，不影响他这段内容不是事实。

[Benson Sun @BensonTWN]

說句實在話：如果黃仁勳最後被政治風暴拉下台，那不是輝達的損失，而是美國國運到頭的訊號。

一個移民之子，從丹尼餐廳的一張桌子起家，三十年把一家顯卡公司做成整個 AI 時代的地基。

這種人是美國夢最好的廣告，也是美國在科技競賽裡最難被複製的資產。美國的對手不必研發出更好的晶片，只要看著美國自己把最會做晶片的人推下台就夠了。

一個國家強盛的時候，會把人才捧在手上；開始衰落的時候，才會把人才當成政治祭品。

[ZINWIN @ogodlove10]

@FKR_Icarus https://t.co/k4Z8eBorQC
https://t.co/y9kF5DyG5X

[琥珀青葉@KohakuLab @KBlueleaf]

基本上都不能照搬
因為很多算子的一些實現純粹為了NV GPU的硬體特性服務的
實際上不同家的卡都有不同的"針對硬體特性服務"的實現(甚至包括CPU，像是Zen5消費級cpu的AVX512實際上每個cycle跑的是256bit，然後只有2lane，那麼在拆分task的時候就可以盡量拆成2n組來避免cycle waste)

所以最大的問題是大家已經很習慣一些"針對NV GPU特性的實現與寫法"而不是CUDA這套東西具體有多難移植。

或者你可以說，語法從來都不是CUDA的護城河。整個社區的知識、經驗、採坑，以及把這些全部固化進工具鏈的整個CUDA生態是護城河。

你想要cuda to intel/amd，那你首先也得先把intel的GPU以及AMD的GPU裡面的這些"硬體特性"通通都先找出來，但這得靠堆時間堆出來，AI也就加快一點而已。

比如說AMD的RNDA3搞那堆有的沒的VOPD讓大家基本都跑不到標稱的速度，這你軟體再強也沒轍。某種意義上"硬件設計有考慮到軟體設計的可用性"也是CUDA護城河的一部分。(hardware<>software codesign)

[ZINWIN @ogodlove10]

@selfhostpilot The architecture will unload memory to the hard drive.

[ZINWIN @ogodlove10]

Released my custom SGLang V14 runtime for persistent cross-request LLM memory. Tested with Qwen3.8-27B and Nemotron 120B (text requests). Qwen4-Exp is a future research target.

Docker: https://t.co/4UWTV3NStO
More models: https://t.co/hkDrYUTHAS
#AIResearch

[ZINWIN @ogodlove10]

V14 Episodic Memory is out for Qwen3.8-27B and Nemotron 3.5 Super VL 120B (NVFP4). Both have memory-enabled tests; Nemotron validation covers text requests.

Qwen: https://t.co/mj3DoOy41U
Nemotron: https://t.co/VHl5siuL50

[ZINWIN @ogodlove10]

V14 Episodic Memory is out for Qwen3.8-27B and Nemotron 3.5 Super VL 120B (NVFP4). Both have memory-enabled tests; Nemotron validation covers text requests.

Qwen: https://t.co/mj3DoOy41U
Nemotron: https://t.co/VHl5siuL50
#OpenSourceAI #LLM

[ZINWIN @ogodlove10]

Independent AI researcher seeking a donated DGX Station GB300 (or equivalent high-memory system) for persistent-memory LLM research. V14 tested on 27B and 120B models. Preparing for Qwen4-Exp. My-Models: https://t.co/hkDrYUTHAS

[ZINWIN @ogodlove10]

Independent AI researcher seeking a donated DGX Station GB300 (or equivalent high-memory system) for persistent-memory LLM research. V14 tested on 27B and 120B models. Preparing for Qwen4-Exp.

My-Models: https://t.co/hkDrYUTHAS
My-Code: https://t.co/T8Xev8R6z0
#AIResearch

[ZINWIN @ogodlove10]

V14 Episodic Memory is out for Qwen3.8-27B and Nemotron 3.5 Super VL 120B (NVFP4). Both have memory-enabled tests; Nemotron validation covers text requests.

Qwen: https://t.co/mj3DoOy41U
Nemotron: https://t.co/VHl5siuL50
#OpenSourceAI #LLM

[ZINWIN @ogodlove10]

@xumuai 27b...有沒有認真了解過mac的內存帶寬限制?
跑moe還差不多https://t.co/t8oU0yRQYF

[Rick 🏴‍☠️ @Rick5767]

很多本地部署大模型的人在骂自己傻逼。其实 我想说。你确实傻逼。你买个mac 跑qwen3.8 27b 20token/s 都到不了。怎么干活？

给个小众方案
显卡：amd pro r9700
推理引擎用stilldeadcode/radiance
单任务轻松100+
多任务400+ ，预填充最高6000+

双卡可上qfn

[兴雨 @YxzRainy]

全球最尊重低价用户的公司：OpenAI

全球最尊重中国用户的公司：Anthropic

全球最尊重用户隐私的公司：Meta

全球最会联网搜索的公司：Google

全球最抵制成人内容的公司：xAI

[江涵枫 @hanfeng_sis01]

@hanhanmi_ 真的会上这种当的小红书集美也用不起50系啊

[ρ:ɡeon @pigeon__s]

i suspect lots of these examples people are claiming are Qwen4-27B are actually Qwen4-Max-preview and youre about to be dissapointed

[ρ:ɡeon @pigeon__s]

@teortaxesTex it better not be moe istg moe is not useful unless youre in the 100+B range the only reason 3.8-27B is so good is because it uses all the parameters it can get its hands on

[ZINWIN @ogodlove10]

@JamesDa55049936 @grok Qwen3.5-9B屬於更新的模型請不要扭曲事實

[ZINWIN @ogodlove10]

@FKR_Icarus 一種記憶模型的公開方法:
https://t.co/4m3ySsex2p
我已經將這種無須訓練即可儲存和利用記憶的架構推導至300B以上的模型
求贊助推論資源

[Teknium 🪽 @Teknium]

@dingcheng_55397 Who said that distilling is bad?

I love distilling. I basically brought it to the forefront 3 years ago lmao