roll day

engineer, quant trader, investor

[roll day @roll_day]

@Alisvolatprop12 산제이가 애플을 특정해서 말한적도 없고 팀쿡이 마이크론을 특정해서 말한적은 없으니 공식적으로 원수가 된적은 없긴하죠ㅎㅎㅎ 팀쿡은 축사 하니마니 몽니부릴때가 아니죠ㅎㅎ 젠슨황도 저렇게 열심히 축사하며 열심히 사는데ㅎㅎ

[roll day @roll_day]

물론 다 그런건 아니지만.. linkedin활발함과 본업과는 반비례관계의 경향성이 있는 것 같음.

[roll day @roll_day]

@minjang_kim 저기 댓글단엄마는 백인엄마들이 그냥 듣기좋으라고 해준말을 진짜로 착각하고 뿌듯해하고있는거같은데요 ㅎㅎ

[roll day @roll_day]

개소리임 ㅎㅎㅎ

[루샨 lucian @lucian__03]

개발자 분들!!!!! 주식하시는 분들!!!!

🚨 진짜 속보입니다.....!!!! (오늘.. 8월 8일 기준)

해외에서도 진짜 난리났고요.
(엔비디아 진짜 비상걸렸습니다.)

(진짜 기존 AI 판도, AI 시장을 100% 바꿔버릴 수 있는..... 스타트업이 될 것 같습니다.)

--> AI 모델의 "가중치" 그 자체를 "반도체"에 물리적으로 박아버리는 스타트업입니다.

(기존 GPU와 완전히 다릅니다.)

(갠적으로 진짜 미친 아이디어라고 생각합니다.)

(이렇게 되면 기존보다 진짜 ⚡️ 수 십배 좋은 전력 효율, 수 십 배 빠른 속도를 낼 수 있습니다.)

Taalas라는 스타트업인데요.

한국 기준으로는 바로 어제 새벽!!

--> "AMD"가 이 AI 반도체 스타트업을 인수하기로 최종 계약을 체결했습니다.

여기서 중요한 건 GPU에 AI를 박는다가 아닙니다.

GPU 자체를 거의 필요 없게 만들고,
특정 AI 모델 하나만을 위한 전용 칩을 새로 만들어버리는 겁니다.

과장이 아니라.. 진짜 앞으로 5년 이내에 이렇게 될 수 있습니다.

---> "클로드 Fable 5 전용 그래픽카드"를 만들어서,

집 PC에 꽂고 클로드 Fable급 AI를 "개인용"으로 24시간 돌리는 미래를 만들어줄 수 있습니다.

(제가 저 기술 관련 논문 찾아봤는데, 진짜 기술적으로 가능할 것 같아요. 빠르면 5년 이내에?)

이게 그냥 제가 상상만 한 얘기가 아닙니다. 진짜.

얘네가 만든 칩은 그래픽 카드처럼 메모리에 AI를 올려서 돌리는 게 아닙니다.

지금까지 실제로 대중에게 공개된 건

라마(Llama) 3.1 8B라는 AI 모델 자체를 본인들의 반도체에 물리적으로 박고 실행까지 제대로 됐습니다.

지금 엔비디아 GPU
--> "아무 AI나 가져오세요. 제가 계산해드릴게요."

(아시겠지만, 범용으로 게임도 가능하고 그 어떠한 AI 모델도 처리가 가능하지만..)

Taalas(탈라스)는
--> "난 Llama 하나밖에 못함.
대신 얘 하나는 미친 듯이 잘함."

실제로 그 대가로 나온 게...

1. 사용자 한 명 기준 약 17,000토큰/초
2. 공개 데모에서도 15,000토큰/초 이상
3. 1,000토큰짜리 답변 생성에 약 0.06초
4. NVIDIA Blackwell 대비 약 48배
5. 구축 비용 20배↓
6. 전력 10배↓

입니다.

근데 제가 여기서 진짜 미친 상상을 하나 해봤습니다.

---> "이걸 Llama 8B 말고 Fable 5로 만들면요?"

물론 Fable 5의 실제 모델 크기와 내부 구조는 공개되지 않았기 때문에,

지금 저 스타트업의 칩 한 장에 Fable 5가 통째로 들어간다고 말할 수는 없습니다.

만약..

앤트로픽이 이 스타트업과 계약을 한다면?
몇 개월 뒤 Fable 5 급 모델이 오픈소스로 공개된다면??

(오픈 웨이트 AI 모델은 지금 프론티어 AI 모델보다 딱 "6개월" 뒤처져 있습니다.)

(--> 이게 말하는 것은 6개월 뒤면 "Claude Fable 5" 급 모델이 오픈웨이트 모델로 나올 수 있다는 뜻이죠.)

Taalas가 "Fable 5 딱 하나만 돌리는 전용 칩"을 만든다면 제가 위에서 말한 상상도 진짜 가능합니다.

실제로도 Taalas도 여기서 멈출 생각이 없는 것 같습니다.

다음 세대 칩은
--> "아예 frontier LLM을 실리콘"으로 만들겠다고 밝혔습니다.

실제로 탈라스 스타트업이 새로운 AI 모델을 전달받은 뒤 전용 실리콘으로 만드는 데..

-----> 단! "2개월"이면 된다고 공식적으로 주장했습니다.

이게 성공하면 진짜 재미있는 일이 생깁니다.
지금 Fable 5 API는 출력 100만 토큰에 $50입니다.

근데 범용 GPU를 포기하고 Fable 5 하나만을 위해 칩을 찍어서 추론 비용이 몇 배, 몇십 배씩 내려가기 시작하면?????

지금은 비싸서 중요한 작업에만 꺼내는 Fable 5를,
나중에는 Sonnet보다 싸게 하루 종일 갈아 넣는 시대가 올 수도 있습니다.

"Fable 5 전용.. 가정용, 개인용 칩 공개!"
-> 내 PC에 꽂음
-> 인터넷 없어도 Fable 5급 AI가 로컬에서 계속 돌아감
-> API 비용 없음
-> 내 코드, 파일이 외부 서버로 안 나감
-> 답변은 거의 즉시 쏟아짐 (거의 디퓨전 모델 마냥)

현재 저 스타트업에서 만든 HC1도

----> 약 250W짜리 PCIe 카드 형태입니다.

당장 Fable 5가 카드 한 장에 들어간다는 얘기는 절대 아니지만,

밀도가 계속 올라가고 큰 모델까지 여러 전용 칩으로 쪼개 넣을 수 있게 되면...

"그래픽카드 뭐 쓰세요?"가 아니라
"무슨 AI 칩 뭐 쓰세요?"라고 묻는 시대가 진짜 올 수도 있습니다.

RTX 5090 사듯이

--> Fable 5 Edition
--> GPT-6 Edition

이런 걸 사는 거죠. ㅋㅋㅋㅋ

AMD가 산 건 단순히 초당 17,000토큰 나오는 작은 AI 칩 회사가 아닐 수도 있습니다.

"AI를 GPU에서 실행하는 시대" 다음에 올
"프론티어 AI 자체를 '내 집 PC'에서 돌릴 수 있는 시대"의 기술을 사버린 걸수도 있습니다....

[roll day @roll_day]

내가 차에 총을 가지고 다니면 됨ㅎㅎ

[_발렌 @_Valentino]

예전에 미국쪽에서 이슈업 된게
충전중에 저런 무기를 든 사람이 접근해오면
충전케이블이 꽂혀있는 전기차는 움직일 수 없어
대응하기가 어렵다는 글을 본 적 있는데...

이머전시 컷아웃 같은 기능이 있어야 하는거 아닌가 싶긴 함...

[GONOGO @GONOGO_Korea]

발기왕 코스피

[짤주워오는계정 @WkfxjfrP]

중국에 있는 한국어 경고문 너무 직관적으로 웃기고 쏙쏙 들어옴

[roll day @roll_day]

일단 자기소개할때 제일 먼저 ‘동안’을 언급하는거부터 정신상태가 글러먹었음ㅋㅋㅋㅋㅋ

[아스피날 @sonsarang3814]

전형적인 영포티, 아니 썩포티일세.

영업하는 걸 플러팅으로 여기는 클라쓰.

[roll day @roll_day]

🤦🏻‍♂️🤦🏻‍♂️🤦🏻‍♂️🤦🏻‍♂️

[End Wokeness @EndWokeness]

Atlanta spent $130M to build glass walls for fare evasion prevention. Result:

[Alis volat propriis @Alisvolatprop12]

M5 Max Memory Bandwidth : 최대 614GB/s

M5 Ultra는 1228GB/s 예상

LPDDR5x로 저 대역폭을 뽑아낸다.

[Alis volat propriis @Alisvolatprop12]

애플 실리콘의 메모리 엔지니어링은 퍼스널 유저 단에서는 최고 수준이라고 생각.

여기도 경영진이 문제.

[RedHotChillyPeppers @joejo2038]

지극히 개인적인 View이지만 아직도 애플이 압도적인 물리인프라와 데이터셋을 베이스로, 즉 30억대의 애플 기기와 역산이 불가한 아이클라우드상의 무한 데이터를 무기로 Physical AI 전쟁에서 "한자리"할 수 있다는 생각을 유지하고 있습니다.

[RedHotChillyPeppers @joejo2038]

권석준 성균관대 교수의 짧은 강연을 듣고 문득 이런 생각이 들었다.

클라우드 AI의 시대가 끝나고 온디바이스 에이전트의 시대가 오면, 애플이 다시 판을 뒤집을 수 있다.

아이폰, 아이패드, 맥북까지 애플은 이미 수십억 대의 하드웨어를 전 세계에 깔아놓았다. 지금은 메모리 제약 때문에 로컬에서 쓸 만한 LLM을 돌리는 게 요원해 보이지만, 이 병목이 풀리는 순간 게임의 룰이 바뀌지 않을까..

서버에 쿼리를 날리는 AI가 아니라, 내 기기 안에서 나만을 위해 작동하는 에이전트 AI. 프라이버시는 자연스럽게 해결되고, 레이턴시도 없다. 그리고 아이폰-아이패드-맥이 각각의 에이전트로 작동하면서 하나의 생태계로 연결된다면… 애플은 수십억 개의 개인화된 에이전트 노드를 소유한 유일한 회사가 되지 않을까.

오픈AI도, 구글도, 메타도 이 하드웨어 자산을 가지고 있지 않다.

그냥 비전문가의 상상이다.

[사철선풍기 @fourseasonfan]

시클리컬/비-시클리컬 떠드는 놈들은 시클리컬의 본질도 모르고 코리아 디스카운트의 본질도 모른다.

이 모든 결정권은 어디서 나오는지 아냐?

압도적인 B2C 비지니스의 독점성에서 나온다. 메모리가 어쩌고 저쩌고 그래서 그거 누가 결정하냐? 사는 놈이 결정하지? 사는 놈이 누구야? 빅테크 아냐? 그럼 빅테크는 왜 먹이사슬 최상단일까? 그야 걔들 말고 실제 소비자한테 판매하는 제품을 만드는 애들이 없으니까. 이건 모든 중간재 서플라이 체인에 동일한 로직이고, 해당 생태계 가장 윗 단 기업과 그 기업이 위치한 메크로 상황이 결정하거든. 코리아 디스카운트는 여기서 나옴. 한국은 독점력이 있는 B2C 상품이 없으니까 시클리컬인거고, 그러니까 디스카운티드 되는거임.

다만 여기서 유일하게 외부 요인 하나 있는 게 중국인데, AI는 패권 경쟁이라서 울며 겨자먹기로 capex 열차는 멈출 수 없다는 거. 이것도 두고볼 일.

[roll day @roll_day]

@1winKR 네 어느분야든 레주메가 그럴싸한 엔지니어는 많아도 실력있고 태도가 좋은 엔지니어는 귀하고 그를 뽑으려는 회사들은 돈이 너무 많습니다ㅜㅜ

[roll day @roll_day]

하아 쥬니어엔지니어뽑는것도 너무 힘듬. 괜찮은 쥬니어가 있었는데 현재 세상에서 제일 돈을 잘버는 5개 회사들과 인터뷰를 보고 모든 회사가 오퍼를 줌. 그중에 젤 많이 주는곳으로 가는데 연봉이 한국돈으로 7억임. 우리회사도 내가 강하게 푸쉬해서 참전했다가 결국 gg당함ㅜㅜ

[roll day @roll_day]

부모가 그걸 모르는 거랑 본인이 그걸 모르는거랑 먼상관. 대학교시작하면서 다 그런걸 알아가는거지. 정말 대단한 핑계나셨구랴.

[모키 @frenchfriesyess]

아 이게 진짜 말 안 통하는 포인트구나 싶네. 비난이 아니라 그냥 구조 자체를 서로 이해를 못하는게 신기함. 부모가 대학을 안 가봤으면 대학 시스템 자체를 모름. 학점이 뭔지, 수강신청을 왜 전쟁처럼 하는지, 강의계획서 보고 시간표 짜는 문화, 커브, 드랍, 오피스아워 같은 개념 자체가 생소함.

[roll day @roll_day]

@minjang_kim 부모가 대학을 안가봤다고 수강신청을 못하고 학점이 어쩌고는 개소리인듯요.. 그걸 혼자서 알아서 못할머리면 애초애 대학을 가지말아야