Tae Hwan Jung

AI & Blockchain Engineer:

[골빈해커 @golbin]

한국 IT 스타트업의 해외 진출을 돕는 가장 확실하고 가장 큰 가치를 줄 수 있는 방법은 Stripe를 쓸 수 있게 해 주는 것입니다. 그것만 된다면 다른 모든 정책 지원이 필요 없을 정도라고 해도 과언이 아닙니다. 제발..

[Tae Hwan Jung @graykoder]

@hanabi64793119 와우 멋지십니다 고생하셨습니다

[Tae Hwan Jung @graykoder]

@thsottiaux @stemonte same

[Tae Hwan Jung @graykoder]

@dogemos 😴😴

[Tae Hwan Jung @graykoder]

@StarCraft omg

[Tae Hwan Jung @graykoder]

@bitcatshow 젬스님 $trump 때부터 뵈었는데 보법이 다르시군요 ㄷㄷ 제가 만나본 디젠분들중에 항상 주변에 선한영향력을 주시는분 같아서 응원합니다!

[Tae Hwan Jung @graykoder]

@bitcatshow 오 기억해주시다니 ㅎㅎ 영광입니다. 항상 트위터 잘보고있습니다!

[Tae Hwan Jung @graykoder]

@ClementDelangue why $EUR in Korea ㅜㅜ

[Tae Hwan Jung @graykoder]

@just1degen ㄷㄷ 갓..

[Jeongkyu Shin @inureyes]

언어모델의 계보에 대해 mlxcel 만들면서 삽질했던 내용들을 정리한 발표자료. 누가 어떻게 영향을 받으면서 발전해 오는지에 대해 아키텍처 관점에서 지난 5월에 이야기해 보았었다.
https://t.co/NsVRv7RtvI

[Tae Hwan Jung @graykoder]

@SeoulChalamet 와 이거 ai 아닌가요?

[Tae Hwan Jung @graykoder]

@GONI_GOOD 교차근처당 걸면 실제 왔가갔다 필요한 돈도 없으니 현명하군요. 근데 60억에 취득세 생각하면 어질어질하네요

[Tae Hwan Jung @graykoder]

@totorovirus ㅋㅋㅋㅋㅋㅋㅋㅋ

[Tae Hwan Jung @graykoder]

wow

[Tae Hwan Jung @graykoder]

@magonia_B 펀비 0.35% ㄹㅈㄷ ㄷㄷ

[Antfeed @antfeedapp]

KIMI K3의 역설: KV 캐시는 줄었지만 GPU와 HBM 수요는 더 커진다?

쉽게 말하면: Kimi K3는 데이터를 저장하는 부담은 줄였지만, 모델 자체가 워낙 커서 여러 GPU에 나눠 돌려야 한다. 결국 GPU와 HBM, 네트워크 수요는 줄기는커녕 더 늘어날 수 있다.

기술적으로 말하면: Kimi K3의 KDA는 KV 캐시 전송 부담을 최대 10분의 1로 줄이지만, 2.8조개가 넘는 파라미터와 896개 전문가 모델을 여러 GPU에 나눠 올려야 해 전체 시스템은 오히려 더 많은 GPU, 메모리, 네트워크를 요구한다.

K3의 가중치만 1.5TB 이상의 HBM을 차지한다. 남은 공간이 부족해 KV 캐시는 CPU DDR5와 NVMe로 밀려날 수 있고, WideEP는 수많은 GPU 사이에서 가중치를 주고받기 위해 막대한 네트워크 대역폭을 사용한다.

Kimi도 최적의 추론 환경으로 64개 이상의 가속기를 권장한다. 효율 개선이 하드웨어 수요를 줄이는 게 아니라 AI 사용량과 시스템 규모를 키우는 제본스의 역설이 다시 나타날 수 있다는 이야기다.

*KDA는 이전 내용을 모두 쌓아두는 대신 중요한 정보만 압축해 기억해 KV 캐시 부담을 줄이는 Kimi의 선형 어텐션(linear attention) 기술이지만, 거대한 모델 자체가 요구하는 GPU와 HBM 수요까지 없애지는 않는다.

#KimiK3 #KDA #선형어텐션 #LinearAttention #KV캐시 #KVCache #엔비디아 #NVIDIA #고대역폭메모리 #HBM #디램 #DRAM #AI인프라 #AIInfrastructure #네트워킹 #Networking $NVDA $SKHY $MU $DRAM $SOXX $SMH

[Tae Hwan Jung @graykoder]

What happened to robinhood?
Or is there a bank run happening?

[Tae Hwan Jung @graykoder]

이 바닥에 있으면 한 10년은 입원해야겠군요...

[미네르바의올빼미 @mad20130301]

남이 잘되는 걸 보는게 뇌에서는
"신체가 칼에 찔리거나, 불에 데이는 것과 같은 고통" 으로 인식함.

잘되더라고 굳이 이야기해서는 안되는 이유..

[Tae Hwan Jung @graykoder]

@TradeArk_KR 동의합니다