nicuuu

[nicuuu @suangyo3]

@GONOGO_US 비둘기가 돌아섰네.

[카뮈 @asyours_]

유명 정신과의사가 말한 인간관계 명언 중 최고임

"관계에서 쾌락이 가장 뜨거울 땐
싸울 때가 아니라
기대하던 사람에게
아무 기대도 안 하게 될 때다."

모든 기대를 내려놓을 때 우린 자유로워진다..

[nicuuu @suangyo3]

@Future__Walker Vmv94

[페이야 @lifeiya1315]

전참시에 나온 박진영이
곧 데뷔를 앞둔 신인 '아워버스데이'에게 전해주는
"행복하게 가수생활하는 방법"의 찐 조언인데
이게 가수들에게만 해당하는 조언이 아닌거 같음.

우리 모두에게 필요한 조언이야.
들어봐!

남하고 비교하면 좌절밖에 없어
누구랑 비교해야 하냐면
작년 나랑 비교해야 돼

작년에 나와 비교했을 때
춤하고 노래가 늘었다면 잘하고 있는 거야.

그렇게 계속 10년을 가봐~!!!
진짜 잘하게 되는거야~!!!

박진영의 조언이 찐하게 나에게도 밀려온다.
남하고 말고 어제보다 발전한 나면 된다규~
알았지?!

[nicuuu @suangyo3]

@GONOGO_Korea 헐..안돼 이미 부 자지 않아?

[nicuuu @suangyo3]

@Elifbenad 18

[nicuuu @suangyo3]

@Semicon_player 제철

[nicuuu @suangyo3]

@DearGozde 37

[nicuuu @suangyo3]

@liferacerza 5

[스케치 @Tesla_Teslaway]

메모리 투자자라면 꼭 읽어보시길

Kimi 3 쇼크로 반도체가 또한번 폭락했다

이대로 하이퍼스케일러 들이 계속해서 GPU에 투자할 수 있을까?

7월 16일 Moonshot AI가 Kimi K3를 내놓으면서 AI 섹터 전체가 또다시 흔들렸음
미국의 10분의 1도 안 되는 컴퓨트로 프론티어급 모델을 만들었다는 소식에 "그럼 그 많은 GPU와 데이터센터가 다 필요 없는 거 아니냐"는 캐펙스 무용론까지 나왔고 말이지

먼저 무슨 내용인지부터 보자고

Arena ai의 Frontend Code Arena에서 K3가 1,679점으로 1위, Fable 5가 1,631점으로 2위, GPT-5.6 Sol이 1,618점으로 3위를 차지했음

7개 세부 도메인 중 6개에서 1위였고 Gaming에서만 Fable 5에 밀려 2위였으며, 오픈웨이트 모델이 이 보드 1위를 차지한 건 사상 처음임

전작 K2.6이 18위였으니 한 세대 만에 17단계 점프한거임

근데 실무 태스크 벤치마크인 GDPval-AA v2 기준으로 K3는 1,687점으로 3위인데, 위에 Claude Fable 5 Max(1,815점)와 GPT-5.6 Sol Max(1,747.8점)가 있고, Moonshot 스스로도 최상위 독점 모델에는 못 미친다고 인정했음

그래서 정확한 성과는 이거임
한 세대 전 프론티어인 Claude Opus 4.8을 오픈웨이트로 제쳤고, 현행 프론티어와의 격차를 훨씬 더 압축했다

또 학습 비용이 1,500만~2,500만 달러라는 추정치도 돌아다니는데, 이건 외부인의 추정일 뿐이고 DeepSeek의 560만 달러 논란 때처럼 최종 학습 런 비용만 센 숫자일 가능성이 높음

실패한 런, 연구용 컴퓨트, 인건비까지 넣으면 몇 배가 될거고, Moonshot은 올해에만 25억 달러 넘게 조달한 회사임
쥐꼬리 GPU로 만든 기적이 아니라, 10분의 1 컴퓨트로 6개월 랙을 유지하는 추격이라고 읽으면 됨

자 무슨 상황인지는 대충 훑어봤고
그래서 지금 논쟁이 되고 있는 내용이 뭔데??

지금 시장에서 제일 뜨거운 논쟁은 이 효율의 정체임
학습은 순전파와 역전파고 추론은 순전파니까,
진짜 학습 효율이 있으면 추론 효율도 따라와야 한다

그런데 K3의 API 가격은 미국 모델과 비슷하다
즉 추론 효율이 없다는 건 학습 효율이 가짜라는 뜻이고, 그 정체는 미국 모델 출력물로 학습한 증류(distillation)일 뿐이다

자 중요한 부분이기 때문에 좀 더 쉽게 알아보자

순전파(Forward Pass): 입력값 → 예측값 만들기 (앞으로 가기)

역전파(Backward Pass): 오차값 → 오차를 바탕으로 내부 공식 수정하기 (뒤로 가기)

이 순전파 ➔ 오차 계산 ➔ 역전파 사이클을 수백만 번, 수천만 번 반복하면서 AI가 점점 똑똑해 지는거임
이 전체 반복 과정을 우리는 '학습(Training)'이라고 부르는 것이고

반면에 "추론(Inference)" 은
이미 완벽하게 학습이 끝나서 역전파를 할 필요가 전혀 없고, 사용자의 질문에 답만 툭 던져주는 순전파만 하면 되기 때문에 학습에 비해 들어가는 연산량이 훨씬 적어 지는 거임

그래서 결국 학습의 효율이 좋아지면(학습에서 순전파를 거치니까) 추론의 효율도 좋아질거다 라고 하는 거임

근데 사실 이 말은 반은 맞고 반은 틀린거임

양쪽에 다 이득인 것들은 아키텍처 개선임
희소 MoE로 토큰당 활성 연산을 줄이거나, KDA 같은 선형 어텐션으로 긴 컨텍스트 처리를 가볍게 만드는 것

이런 건 학습도 추론도 같이 싸지는게 맞음

반면 학습에만 이득인 개선은 사이클을 덜 돌게 만드는 것들임
"수백만 번 반복"의 그 반복 횟수 자체를 줄이는 거지
옵티마이저 개선(Muon 같은 것)은 같은 똑똑함에 도달하는 데 필요한 스텝 수를 줄이고, 데이터 품질 개선과 증류는 필요한 학습 토큰 수를 줄임

특히 증류가 극단적인데, 프론티어 모델이 이미 정제해놓은 출력물로 배우면 원시 데이터로 배울 때보다 반복이 훨씬 적게 듦

그런데 이렇게 완성된 모델은 반복을 몇 번 돌아서 만들어졌든 결과물의 덩치와 구조는 그대로라, 추론 원가와는 상관이 없음

쉽게 말해 ,
학교 다니는 기간을 12년에서 3년으로 줄여도 졸업한 사람의 밥값은 똑같은 거임

자 그럼 다음단계로 가보자

어쨌든 성능이 올라온만큼 API 가격도 비싸진게 사실임

여기서 이유가 방금 본 효율이 없으니까 그런거다와
성능이 좋고, 수요도 많으니 비싸게 받는거 뿐이다 라는 걸로 나뉨

첫번째 이유의 반론이자 두번째 이유를 살펴보면,
가격(price)과 원가(cost)를 다르게 봐야한다는 거임

API 가격은 원가보다 마진 전략과 캐파의 함수임
GPU가 부족한 회사가 트래픽이 몰리는 상황이면, 원가가 아무리 낮아도 가격을 내릴 이유가 없음

이전 모델은 왜 쌌느냐고 묻는다면
K3는 전혀 다른 상황이라 그럼
출시 당일 프론티어급이라는 타이틀을 달고 나왔고, 아레나 1위 뉴스까지 터지면서 전 세계 트래픽이 한 회사의 제한된 캐파로 몰리는 상황이니까

"중국 내에서는 컴퓨트 부족으로 자국 모델조차 성능 제한된 상태로 서비스된다"고 인정하고 있을만큼 수요가 폭발하고 있으니 싸게 내놓을 필요가 없는거지

결국 간단하게 요약해보면

증류로 인한 능력 격차를 압축했을 개연성은 크다
동시에 효율 연구도 많이 축적됐다 임

이건 사실 몇일 후면 쉽게 알 수 있는 사실이 될거임

Moonshot이 7월 27일까지 가중치를 공개하겠다고 했으니까

가중치가 풀리면 설정 파일에 전문가 수, 활성 전문가 수, 히든 차원, 어텐션 구조가 다 적혀 있어서, 토큰당 연산량과 메모리 풋프린트는 계산해보면 그날 바로 나옴

근데 확실한 숫자를 보려면
상업 서빙 가격이 나올때까지는 기다리는게 낫긴 함

가중치가 풀리면 vLLM이나 SGLang 같은 오픈 서빙 스택에 올린 벤치마크가 며칠 안에 커뮤니티에서 쏟아질 거고, 그게 원가의 직접 측정치임

K3가 동급 성능의 다른 모델보다 GPU당 토큰이 유의미하게 많이 나오면 아키텍처 효율은 실재하는 거고, 비슷하거나 낮으면 가격이 아니라 구조 자체가 무거운 거니까

가격으로 보려면 OpenRouter에서 Moonshot이 아닌 제공자들이 붙은 뒤의 호가를 보면 되는데,
특히 DeepSeek나 K2 서빙하던 업체들이 K3를 얼마에 내놓는지 보면 가장 정확한 비교가 될거임

그리고 Moonshot이 서드파티 등장에 맞춰 자기 가격을 내리면 원래 가격에 희소성 프리미엄이 있었다는 거를 바로 보여주는 지표가 될 거고

자 이제 최종단계임

그래서 메모리 투자자들은 뭘 봐야 될까??

결국 중요한 건 이 효율화의 청구서가 어디로 가느냐임

극단 희소 MoE는 비용을 없앤 게 아니라 연산에서 메모리로 옮긴 구조임
일은 16개 전문가만 하지만 896개 전체가 항상 메모리에 상주해야 하니까, FP8 기준 가중치만 약 2.8테라바이트로 최신 GPU 랙스케일 시스템이 서빙의 최소 단위가 되는 거임

이런 프론티어급 모델들이 오픈웨이트로 나오게 되면
API가 아니라 이 오픈웨이트를 받아서 쓸려는 곳들이 나오게 됨

수십 개의 대형 서빙 사업자, 그리고 데이터를 외부로 못 보내는 금융, 정부, 방산 같은 컴플라이언스 수요들이 나온다는 말임 (요즘 데이터를 반출하고 싶어하지 않는게 대세인거 알지?)

서방 기업 입장에서 Moonshot API는 가격이 문제가 아니라 애초에 선택지가 아니었으니, 오픈웨이트는 지정학적 신뢰 장벽 때문에 존재할 수 없던 수요를 존재하게 만드는 통로가 되는 거임

덤으로 희소 MoE는 자주 쓰는 전문가만 HBM에 두고 나머지를 서버 DRAM에 내려놓는 오프로딩 서빙이 가능한 구조라, 고용량 서버 RDIMM이라는 범용 DRAM 쪽 수요도 늘어날 수 있음

이게 무슨 말이냐면,
누가 이걸 쓰냐가 핵심임
상업 서빙 사업자는 절대 못 씀
희소 MoE에서 토큰 하나는 16개 전문가만 쓰지만, 수백 명의 요청을 배치로 묶으면 배치 전체로는 896개 전문가가 사실상 다 호출됨

사용자마다 다른 전문가 조합을 쓰니까
즉 트래픽이 몰리는 환경에서는 자주 쓰는 전문가와 안 쓰는 전문가의 구분 자체가 사라지고, 전 파라미터가 뜨거워져서 풀 HBM 상주가 강제되는거임

그러니까 대형 서빙에서 HBM 수요는 오프로딩 기술이 있든 없든 1비트도 안 줄어든다는 거고,

반면 오프로딩이 성립하는 곳은 배치가 작은 환경임

온프레미스에서 소수 인원이 쓰는 경우, 그 사람들의 쿼리 패턴은 도메인이 좁아서 실제로 특정 전문가들만 반복 호출되고, 속도가 좀 느려도 데이터 주권이 더 중요한 수요층임

DRAM 오프로딩으로 K3를 돌리는 금융사나 정부기관이, 오프로딩이 불가능했다면 HBM 풀셋 시스템을 샀을 고객이냐? 아니란 말이지

랙스케일 시스템 가격이면 애초에 도입 자체를 포기했을 고객이라는 말임

즉 오프로딩으로 인해 존재하지 않았을 수요를 저가 메모리로 존재하게 만드는 거니까, 메모리 업체 입장에서는 잃는 것 없이 새 매출 갈래가 하나 열리는 구조가 되는거임

밥집으로 치면 정식 손님이 편의점 도시락으로 갈아타는 게 아니라, 원래 굶던 사람이 도시락을 사기 시작하는 거임

그리고 결국
Moonshot은 이번에 가격을 전작 대비 3~4배 올렸음
태스크당 비용으로 Opus 4.8의 절반 수준이긴 하지만, 초저가로 점유율을 사던 중국 AI가 프론티어급 가격표를 붙이기 시작했다는 건 이 시장에 지불의사가 실재한다는 증거임

추격자가 가격을 올리는 시장에서 캐펙스 사이클이 꺾일 리 가 있겠음?

추격자가 빨라질수록 프론티어의 합리적 대응은 지출 축소가 아니라 확대임
프론티어 랩의 수익 모델은 남들이 못 하는 걸 프리미엄 받고 파는 거임

Fable 5가 K3의 3배 가격을 받을 수 있는 근거가 그 격차고

그런데 추격 시차가 짧아진다는 건 각 세대 모델의 독점 수익 창출 기간이 짧아진다는 뜻임

수십억 달러짜리 학습 런의 감가상각이 빨라지는 거지

이 상황에서 지출을 멈추면 어떻게 되냐?

격차가 0이 되는 순간 가격은 오픈웨이트 수준으로 수렴하고 프리미엄은 소멸함

즉 멈추는 순간 즉사고, 계속 달리는 동안만 프리미엄이 유지되는 게임임

그래서 랩들의 선택은 더 빨리 달리기, 그리고 더 중요하게는 증류가 안 통하는 축으로 전선을 옮기기 임

프론트엔드 아레나처럼 결과물이 눈에 보이고 몇 초 만에 판정되는 능력은 추격이 제일 쉬운 축임

반면 8시간짜리 에이전트 작업의 신뢰성은 모델 출력물 긁어서는 못 베낌

그건 독점 사용 데이터, 자체 RL 환경, 그리고 무엇보다 대규모 RL 컴퓨트에서 나오는 거니까

돈이 부족하다면 미국 정부에서라도 더욱 더 지원을 할거라고 생각함

P.S
혹시나 하이퍼스케일러 들이 왜 무리해서라도 계속 AI에 과도한 투자를 하는지 궁금하면 아래 인용글을 참조하길 바람

[nicuuu @suangyo3]

@GONOGO_Korea 애플때문임.

[nicuuu @suangyo3]

@realempirez77 @GONOGO_Korea Earning

[nicuuu @suangyo3]

@GreekSage time will tell :)

[nicuuu @suangyo3]

@_Cokenee_ ssagal

[몬즈 @MONDS_JH]

극장 결승골이 터졌는데
감독이 정색하고 기뻐하지 않은 이유.

브라질 경기에서 95분 내내
피 말리는 접전 끝에 역전골이 터졌다.

스태프들이 다 날뛰는데
안첼로티 감독만 조용했다.

근데 그가 굳은 표정을 지었던
진짜 이유는 따로 있었다.

그는 인터뷰에서 축구는 결국
'리스펙트'라고 딱 잘라 말했다.

상대인 일본 팀이 온 힘을 다해
용감하게 싸운 걸 보았고,
그 패배가 얼마나 아픈지 안다고.

속으론 기뻤지만, 치열하게 쏟아부은
상대에 대한 예의를 지키려고 했다며
묵직한 한마디를 남겼다.

"가장 거대한 승리의 순간에도
겸손한 것이 최고의 경의다."

진짜 이 대목에서 소름이 돋았다.
멋진 명장의 마음가짐이란 게
바로 이런 거구나 싶어 존경심이 든다.

이기고 나서 상대를 조롱하거나
흥분해서 방심하는 게 아니라,

승리의 순간에 곧바로 평정심을 찾고
"내일부터 다시 일하러 간다"며
다음 월드컵을 차갑게 준비하는 태도.

솔직히 이 정도로 깊은 품격을
보여주는 리더는 진짜 흔치 않다.

사람은 겸손할 줄 알아야 한다.

[Alis volat propriis @Alisvolatprop12]

제 첫 브랜드 앱, Alis-studio를 소개합니다.

Krea2-Turbo를 mlx로 포팅한 뒤에 가볍게 사용할 이미지 생성 하네스를 만들어 쓰다가 이왕이면 제대로 만들어 보자 생각하고 작업했습니다.

맥에서 네이티브 앱처럼 동작하는 깔끔한 이미지 생성 웹 UI입니다.
https://t.co/wnHD76nmeN

[Alis volat propriis @Alisvolatprop12]

젠슨 황이 이렇게 강력한 어조로 친절하게 대담에 임한 것을 저는 세쿼이어 캐피탈의 대담 외에선 본 적이 없습니다.

심지어 GTC에서조차도요. 읽지 않으면 후회할 것입니다.

둠스데이가 온다고 말하고 다니는 현대판 트로이의 카산드라분들조차도요.

[nicuuu @suangyo3]

@aleabitoreddit ㅋㅋㅋㅋ사이브의 복수를!

[Khairallah AL-Awady @eng_khairallah1]

https://t.co/hnwk3geOZx