GPU에 HBM 억지로 구겨 넣던 시대 드디어 끝남? 마벨이 들고 나온 충격의 광학 메모리 ㅋㅋㅋ
NYSE 스튜디오에서 Marvell $MRVL 형들이 미친 물건 하나 들고 나와서 제대로 털었음.
전 Celestial AI 창업자이자 현 마벨 네트워킹 대장인 데이브 라조브스키(Dave Lazovsky)가 손에 쥐고 흔든 게 바로 세계 최초의 포토닉 패브릭 메모리 모듈(Photonic Fabric Memory Module)임.
이게 왜 개쩌는 거냐면:
• 기존 HBM은 GPU나 가속기 칩셋 바로 옆 1.5mm 딱붙 모드로만 박아야 했음. 거리 조금만 멀어져도 구리선 저항 때문에 데이터 다 터지고 발열 지옥 열려서 물리적인 한계에 부딪혔던 상황.
• 근데 마벨이 들고 온 이 정사각형 칩 밑에 달린 건 구리선이 아니라 투명 광섬유 케이블임. 즉, 메모리를 빛(광학 인터커넥트)으로 연결해버림.
• 모듈 하나에 HBM 스택 2개 박혀 있고 DDR5는 최대 8개까지 지원함.
• 광학으로 연결하니까 연산 칩(XPU)이랑 메모리 거리를 최대 50m까지 떨어뜨려도 초고대역폭, 초저지연 연결이 유지됨 ㅋㅋㅋ
• 이걸 어플라이언스로 묶으면 최대 32~33TB짜리 초대형 메모리 팜(Memory Farm)이나 메모리 풀을 아예 랙 단위로 따로 구축할 수 있음.
결국 AI 연산 코어 스케일링이랑 메모리 스케일링을 사상 처음으로 완전히 분리(Decouple)할 수 있게 됐다는 뜻임.
AI 추론 돌릴 때 KV 캐시 감당 안 돼서 GPU만 무지성으로 때려 박던 빅테크들 입장에서는 눈 돌아갈 기술임 ㅋㅋㅋ
메모리 월(Memory Wall)을 광학으로 뚫어버리겠다는 마벨의 큰 그림 제대로 보여줌.
Not financial advice
Bank of America on Memory:
"The recent correction in memory stocks appears largely disconnected from fundamentals and represents excessive concern"
"P/B multiples have falled to 1.0x...a level typically seen at cycle troughs (high inventories, 50%+ ASP cuts, large losses)"
$DRAM $MU $SKHY
$MU $SNDK $WDC
DeepSeek is back at it again.
Diving deeper, this happened on a Saturday, no less, so the markets haven't had time to react. Only the weekend perps have.
The headline driving it is DeepSeek's claim that the new model needs 4x less memory per token.
That reads like less memory demand, until you look at the rest of the release:
+ The model is still huge. It has 552B parameters, and all of them have to sit in memory to run, even though only a fraction is active at a time.
+ It handles 1M tokens of context. Longer context means more memory per user.
+ It's priced at about $1.20 per million output tokens. Cheaper tokens have always meant more tokens used.
+ DeepSeek ran out of compute this week. It had a five-hour outage that experts blamed on not having enough capacity. A company that keeps making its models leaner and still can't keep its service up is evidence that demand is ahead of supply.
The weekend market has mostly recovered so far, so expect some reaction at Monday's open, but I wouldn't be surprised if the market shrugs it off by 10am.