AI를 활용한 정형데이터 분석 프로젝트를 마친 직후, 회사 동료가 추천해준 책. 다소 이론적이지만 꼭 필요한 고민을 나눌 수 있을 것 같다. 두 권 합쳐 1,000쪽 넘는 벽돌 @grok
”이러한 간극은 지능의 결핍이 아닌 운영의 실패에서 기인 한다. Business의 운영이란 결국 도메인의 세계(규칙/상태/권한/감사/복구)를 얼마나 정교하게 모델링하고 집행하느냐의 문제이기 때문이다.“
좌표가 고정되지 않은 '세계 없는 (worldless) 에이전트는 자신의 출력이 곧 현실이라고 착각한다. 채팅창에 "메일을 발송했습니다"라고 출력하는 순간, 에이전트의 내부 세계(언어 모델의 확률 공간) 내에서 해당 과업은 이미 '성공'으로 종결된다. 그러나 실 제로 SMTP 서버가 패킷을 보냈는지, API가 200 OK를 반환했는지, 그 기록이 DB에 남았는지는 에이전트의 관측 범위 밖이다. 할루시네이션 매카니즘 @grok 어때?
“에이전트의 실질적인 성능이 단순히 모델의 지능이나 파라미터 규모에 비례하는 것이 아님을 보여준다. 오히려 환경이 어떻게 추상화되고 구조화되어 있는지, 즉 *지능이 발을 딛고 있는 세계의 설계 수준에 따라 에이전트의 성패가 결정된다*는 사실을 극명하게 드러낸다.” SAP ERP가 역시? @grok
BofA: Kimi 3
Kimi K3 출시와 컴퓨팅 경쟁
> 새로운 중국 오픈 웨이트 모델: Moonshot은 100만 토큰의 컨텍스트 윈도우를 갖춘, 2조 8천억 개의 대규모 매개변수를 가진 Mixture of Experts (MoE) 모델인 Kimi K3를 공개했다.
> 규모 확장에 압박받는 미국 랩: 중국 오픈 웨이트 모델이 격차를 좁히고 Google의 Gemini 3.5 Pro가 예정보다 수개월 늦어지고 있다는 언론 보도가 나오면서, 미국 랩(OpenAI, Anthropic, Google)은 컴퓨팅 자원을 늘려야 한다는 압박을 받고 있다. 경쟁 우위를 유지하려면 더 큰 규모의 훈련 실행, 더 집중적인 강화 학습(RL), 합성 데이터 루프, 그리고 더 빠른 출시 주기가 필요할 것이다.
> 리더보드보다 비즈니스: 투자자는 벤치마크 1위와 지속 가능한 비즈니스 모델을 혼동하지 않도록 주의해야 한다. 기업용 AI에서 지속적인 해자는 가장 저렴한 비용으로 정확하고 지연 시간이 짧으며 가동 시간이 긴 AI를 제공하는 것이다.
AI 반도체 시장 강세 전망
> MoE 아키텍처가 하드웨어 수요 촉진: Mixture of Experts (MoE) 아키텍처로의 전환은 메모리 이동, 라우팅, 지연 시간 및 인터커넥트의 중요성을 강조한다.
> NVIDIA의 차세대 효율성: NVIDIA의 GB300 NVL72는 선도적인 오픈 MoE 모델을 서비스할 때 Hopper 대비 최대 25배의 와트당 성능 향상을 제공한다.
> 실리콘 수요 확대: 오픈 모델은 태생적으로 반도체 시장에 호재로 작용한다. 모델 가치가 범용화되더라도 GPU, 고대역폭 메모리(HBM), 네트워킹 및 효율적인 추론을 위한 인프라 수요는 지속적으로 확대될 것이다.
> EDA의 회복력: BofA는 Cadence(CDNS) 및 Synopsys(SNPS)와 같은 전자 설계 자동화(EDA) 기업에 대해 여전히 긍정적인 전망을 유지하고 있다. Kimi K3에서 "45nm의 오픈 소스 EDA"가 언급되었음에도 불구하고, TSMC와 같은 주요 파운드리가 첨단 칩을 제조하려면 상용 EDA 도구가 여전히 필수적이다.
급증하는 토큰 사용량 및 엔터프라이즈 AI 채택
> 중국 연구소의 토큰 거래량 주도: OpenRouter의 데이터에 따르면 주간 토큰 사용량이 빠르게 급증하고 있으며, 현재 중국 AI 모델의 일일 토큰 사용량이 서구 AI 연구소의 사용량을 넘어섰다.
> 미국 기업 도입률: Ramp AI Index에 따르면 미국 기업의 약 55%가 현재 유료 AI 도구를 구독하고 있다(미국 인구조사국의 추정치 21%보다 현저히 높은 수치이다).
> 시장 점유율 및 지출액: 기업용 모델 도입률은 Anthropic이 42.4%로 선두를 달리고 있으며 그 뒤를 OpenAI가 39.5%로 바짝 쫓고 있다. 직원당 월 중간 AI 지출액은 11달러에 불과하지만, 상위 1%의 기업은 직원당 월평균 4,833달러라는 막대한 금액을 지출하고 있다.
$CDNS $NVDA $GOOGL $SNPS
AI를 활용한 정형데이터 분석 프로젝트를 마친 직후, 회사 동료가 추천해준 책. 다소 이론적이지만 꼭 필요한 고민을 나눌 수 있을 것 같다. 두 권 합쳐 1,000쪽 넘는 벽돌 @grok
”이러한 간극은 지능의 결핍이 아닌 운영의 실패에서 기인 한다. Business의 운영이란 결국 도메인의 세계(규칙/상태/권한/감사/복구)를 얼마나 정교하게 모델링하고 집행하느냐의 문제이기 때문이다.“
Kimi-K3 가
메모리 수요를 줄이지 않을 거라는 글이 많다.
사실일 가능성이 높다.
그런데 지금에 와서 이게 무슨 소용인가?
설사 사실이라 할지라도 시장이
리스크로 해석하는 이상 리스크다.
사실과 해석은 전혀 다를 수 있으며
시장은 해석으로 움직이지 사실로 움직이지 않는다.
그리고 대부분 시간이 지나고 보면
시장의 해석이 옳았을 경우가 많다.
내가 시장보다 똑똑하다 생각하는 순간
시장에게 강냉이 탈탈 털리고
gg치는 것.