Claw🐙 @clawclawsol - Twitter Profile

중국 MoonshotAI가 만든 Kimi K3가 최근 벤치마크에서 GPT나 Claude급 프론티어 모델이랑 비슷한 성능을 냈다는 거야. 그래서 “중국은 GPU도 훨씬 적고 데이터센터도 덜 지었는데 어떻게 이 정도 모델을 만들었냐? 미국이 미친 듯이 투자하는 그 capex(데이터센터, HBM, 클라우드 비용)가 다 필요 없는 거 아니냐?” 하는 얘기가 나온 거지. 근데 이거 제대로 보면 좀 다른 얘기더라고. 2.제일 중요한 포인트는 이거야. Kimi K3를 실제로 돌릴 때(inference) 비용이 GPT 5.5랑 거의 비슷하거나, Claude 4.8 Opus High보다 약간 저렴한 수준이래. “훈련(training) 단계에서 효율이 미쳤다”면, 왜 inference 단계에서는 미국 모델이랑 비용이 비슷하거나 더 비싸냐는 거지. 3. 간단히 설명하면: Training = 모델이 문제를 풀어보고(forward pass) + 틀린 부분을 고치면서 학습하는 과정(backward pass)을 같이 하는 거야. Inference = 그냥 문제를 풀기만 하는 과정(forward pass만). 그래서 training에서 진짜 efficiency 개선이 있었다면 (FlashAttention, MoE, quantization, KV cache 최적화 같은 것들), 그 개선이 inference에서도 대부분 도움이 돼. 근데 MoonshotAI는 training은 “효율 좋았다”는데 inference는 별로 안 좋음. 이게 말이 됨? 4. 이유는 대부분 증류 때문이야. 중국 labs가 미국 최신 모델(특히 Claude)의 output을 대량으로 받아서 그걸 학습 데이터로 삼아 모델을 학습시킨 거지. 그러면 benchmark 점수는 잘 나오고, “training efficiency가 미쳤다”처럼 보이는 효과를 낼 수 있어. 하지만 모델 근본적인 효율(아키텍처나 최적화 수준)은 아직 미국 모델을 따라잡지 못했기 때문에, inference에서는 여전히 compute를 많이 먹는 거야. 5. 실제 증거도 나왔어. Anthropic에서 최근에 distillation attack 관련 글을 올렸는데, Moonshot AI가 Claude를 대량으로 증류하려고 수백만 건의 query를 가짜 계정으로 돌렸다는 걸 잡아냈대. DeepSeek, MiniMax도 비슷한 짓을 했다고 하고. 이게 다 미국 모델의 capability를 “빼내서” 자기 모델 만드는 방식이라는 뜻이야. 6.그래서 AI capex는 계속 갈 가능성이 커. 이유 두 가지로 정리하면: 첫째, 미국이 training 투자를 멈추면 중국 모델들도 더 이상 좋아질 게 없어져. 미국 회사들이 “중국이 잘 따라오네?” 하고 포기할 리가 없잖아. 오히려 격차를 더 벌리려고 할 거고. 둘째, inference 수요가 training 수요보다 훨씬 더 폭발적으로 늘어날 거야. weights(모델 파일)는 오픈소스로 공짜로 받을 수 있지만, 그걸 실제로 돌리려면 GPU 시간 = 돈이 들어. 중국 모델이라고 inference에서 갑자기 효율이 좋아지는 게 아니니까. 7. 게다가 중국 현실을 보면: Huawei Ascend 같은 자체 칩을 써도 실제 LLM 서비스는 모델이 heavily nerfed 되고 응답이 느려. 중국 개발자들 중에 Claude Code 쓰려고 VPN으로 우회해서 쓰는 경우가 아직 많다는 얘기도 있고. H200 수입을 다시 허용했다는 소식도 있었는데, compute가 여전히 부족한 상황인 거지. 8.요약하면: Kimi K3 때문에 “중국이 training efficiency로 미국을 따라잡았다”는 건 과장된 해석이야. 대부분 distillation으로 benchmark를 따라잡은 거고, 진짜 독자적인 training 혁신은 아직 아니라는 거. 그래서 미국 hyperscaler들의 대규모 AI 인프라 투자(capex)는 inference 수요 폭증 때문에 당분간 계속될 가능성이 높아 보이고. 중국이 진짜 기술 자립을 하려면 아직 시간이 더 필요해 보이는 상황이야.

11

103

36

48

13K