32강 탈락과 함께 사실상 경질이 이미 결정되어 있었던 홍감독이 자진사퇴를 결정하지 못하고 고심했던 것은 위약금 문제 때문일 것.
KFA에서 홍감독을 경질하면 남은 연봉을 모두 수령할 수 있다. 단, 자진사퇴하면 잔여 연봉 수령은 불가. 따라서 최대한 경질을 기다리려 했지만 협회나 본인 역시 위약금 문제까지 겹쳐서 국민여론이 너무 악화될 것을 두려워한 나머지 자진사퇴를 결정했을 것.
@dakyou_way@lohaswinner 둘다 게이밍 장비였지. LLM 장비는 아니니까요. dgx spark 는 사고 싶지만 메모리 대역폭 생각하면 정말 실험용 장비라고 봅니다. 차라리 맥을 사고, 활용 잘하면 좋죠. 진짜 빠른속도의 local LLM 장비 제대로 갖추려면 자동차 포기해야죠 ㅎㅎ
@dakyou_way@lohaswinner 컴퓨팅 성능이 늘어나면 할 수 있는게 많아져요 local LLM 은 일부입니다. 그리고 local LLM 을 세팅하면서 얻게되는 지식이 생각보다 많이 유용해요. 직접 코딩하지 않아서 엔지니어링의 재미를 잃어 버렸다면 다시 찾을 수 있습니다.
결국 대부분의 테크 회사들이 이런 길로 가지 않을까?
게이트웨이를 하나 만들어서 이 업무에 대해서 어느 수준의 모델이 필요한지 파악해서
어려운 일에는 Claude 같은 비싸고 똑똑한 모델을...
상대적으로 쉬운 업무에는 Kimi나 GLM 같은 저렴하면서 가성비 좋은 모델을 쓰는 방향으로 가지 않을까?
As we are still investigating, I have reset everyone's Codex usage limits. This is a hard reset given some users had stacked up to three banked resets already that they can apply on their own schedule.
Funnily enough, this week at OpenAI is called the RESET week, which is meant for folks to relax a bit. However it will be a different kind of RESET week. Enjoy.
지금 실리콘 벨리에서 일어나는 일들
일반 테크기업을 떠나는 직원들은 더 나은 모험을 떠나 빅테크를 도전한다고 하지만 빅테크를 떠나는 엔지니어들의 이유는 다름.
그들은 심연을 보았다고 하면서 직장을 떠난다고 한다. 무언가 큰게 다가오는거 같고 모든 세상에 직업이 사라질수도 있다는 생각인 듦.
지금 돈을 벌 때 열심히 벌어야 되는 이유는 이제는 내가 벌고 싶어도 벌지 못하는 세상이 올수도 있다는게 오싹함.
앞으로 5년 10년 내에 투자를 하든 뭐를 하든 돈을 모아 놓는건 생존의 문제라고 본다.
Local AI hardware = capacity X bandwidth X software stack
- Capacity tells you what fits
- Bandwidth tells you how hard the box can breathe
- The software stack tells you how much of the spec sheet you can actually cash out.
Hardware by Memory Bandwidth
- Mac Studio M3 Ultra: up to 512GB @ 819 GB/s
- RTX PRO 6000 Blackwell: 96GB @ 1792 GB/s
- RTX 5090: 32GB @ 1792 GB/s
- RTX 4090: 24GB @ 1008 GB/s
- RX 7900 XTX: 24GB @ 960 GB/s
- Radeon PRO W7900: 48GB @ 864 GB/s
- AMD Radeon AI PRO R9700: 32GB @ 640 GB/s
- Intel Arc Pro B65: 32GB @ ~608 GB/s
- Tenstorrent Wormhole n300: 24GB @ 576 GB/s
- Tenstorrent Blackhole p150: 32GB @ 512 GB/s + 800G
- MacBook Pro M5 Max: 460-614 GB/s
- MacBook Pro M5 Pro: 307 GB/s
- DGX Spark: 128GB @ 273 GB/s (coherent + CUDA)
- Mac mini M4 Pro: 273 GB/s
- Ryzen AI Max / Strix Halo: ~256 GB/s (~96GB usable GPU)
- MacBook Air M5: 153 GB/s
- Snapdragon X2 Elite: 152-228 GB/s
- Intel Lunar Lake: 136 GB/s
- Snapdragon X Elite: 135 GB/s
- Mac mini M4: 120 GB/s
- Arc Pro B60: 24GB @ ~456 GB/s
Verdict
- GPUs are still the bandwidth kings
- Apple wins: stupid amounts of memory, don't want to shard across GPUs
- Apple loses: when raw tokens/sec & concurrency matter more
- DGX Spark: coherent memory + NVIDIA stack
- Strix Halo / Ryzen AI Max: first real x86 unified-memory contender
- Tenstorrent: fully OSS stack, excited to see this mature
Fitting != serving
Even if it fits, you still pay for
- bandwidth during decode
- KV cache growth
- dequantization
- batching + concurrency
- scheduler quality
- framework overhead
The only mental model that matters:
1. What must fit?
2. What bandwidth tier do I need?
3. What software stack can actually deliver it?
In short:
- NVIDIA -> fastest raw speed
- Apple Studio M3 Ultra -> biggest one-box memory
- Strix Halo -> first real x86 unified
- DGX Spark -> coherent NVIDIA dev appliance
- AMD / Intel Arc -> rising alternatives
- Tenstorrent -> fully opensource stack
Do ask: "which bottleneck am I buying?"
Not: "which hardware is best?"
홍명보 사임하는 거 보는 축구 유튜버들 표정
라이브도 아니고 녹화로,
엠바고까지 걸고 사임 선언문만 낭독했음
질문은 안 받음
선언문 읽는 데 5분도 안 걸렸고,
그대로 주머니에 손 꽂고 퇴장했음
한국 축구를 몇 년은 퇴보시킨 행보를 보여놓고
마지막 모습이 이거임
48개국 체제에 32강 8자리나 열어줬는데 12개 조 3위 중 10위로 탈락
최종 순위 34위
1954년 첫 출전 이후 역대 최악 성적임
근데 사임 선언문 5분 읽고 질문도 안 받고 손 꽂고 나가는 그 태도가
“나 사임했으니까 책임 다 졌다”
는 것처럼 보이는 거잖아
졌으면 최소한 왜 이렇게 됐는지
설명이라도 하든가
뭐 저런 사람이 다 있냐는 표정으로
그걸 지켜보는 유튜버들 얼굴이
지금 이 글 쓰는 내 얼굴이랑 똑같음
로컬 LLM 은 재미있지만, 이걸로 뭔가하려면 claude code, codex 처럼 써선 안될듯. 되긴함. 근데 그 정도 장비 갖추려면 몇천만원 들여야함. 그러니까 구독을 해야하고, 대신 이 로컬 LLM 들을 백엔드 알고리즘으로 사용하면 꽤나 많은 부분에서 편리해질듯.