송준 Jun Song

Super-Tune
| Making Local LLMs/Agent easy for everyone |
DM is open
Useful posts in highlights

[송준 Jun Song @songjunkr]

The era of Personal Sovereign AI is coming.

We're going to use personal hardware to build personal SaaS.
We stop handing our data over to corporations and start owning our own intelligence.
People are already waking up to this and spinning up Local LLMs.

As Big AI adds more guardrails and raises prices, the push for AI sovereignty will only explode.

Bookmark this tweet.

[송준 Jun Song @songjunkr]

@naorweissmann 6년전에 나온 3090이 현재 최고의 옵션 중 하나입니다.
중고 가격은 미친듯이 오르고있습니다.
엔비디아는 D램 공급 부족으로 6년전모델인 3060을 재생산합니다.

[송준 Jun Song @songjunkr]

"Why buy hardware when that money can pay for years of AI subscriptions?"

-> "Why buy a house when that money can cover rent for decades?"

It’s the exact same logic.
Rent will go up eventually.
You can always resell hardware later.
Think of it as a deposit.

[송준 Jun Song @songjunkr]

@piston190 내구성 리스크가 커요

[송준 Jun Song @songjunkr]

로컬LLM 하드웨어별 단점 :

Mac - 느린 연산속도, prefill tok/s
Macbook - 발열로 인한 쓰로틀링

DGX Spark - 270gb/s로 낮은 대역폭, decode tok/s
AI MAX - DGX보다 더 느린 decode

3090, 5090 - 전력소모량, 발열, 낮은VRAM
RTX6000 - 비싼 가격, 낮은 VRAM

완벽한 기기는 아직 없습니다.

[송준 Jun Song @songjunkr]

@Nicwix 와우, 어떤 방식으로 속도를 높힌거죠?

[송준 Jun Song @songjunkr]

로컬LLM 하드웨어 : 장점을 포함한 장단점 이미지

기기 선택에 정답은 없습니다.
상황, 예산에 맞게 잘 선택하시면 됩니다.

[송준 Jun Song @songjunkr]

로컬LLM 하드웨어별 단점 :

Mac - 느린 연산속도, prefill tok/s
Macbook - 발열로 인한 쓰로���링

DGX Spark - 270gb/s로 낮은 대역폭, decode tok/s
AI MAX - DGX보다 더 느린 decode

3090, 5090 - 전력소모량, 발열, 낮은VRAM
RTX6000 - 비싼 가격, 낮은 VRAM

완벽한 기기는 아직 없습니다.

[송준 Jun Song @songjunkr]

@photographer__ 사람은 아는만큼만 보이는법이죠

[송준 Jun Song @songjunkr]

@_PSDev For it’s price yes, you can get 512gb Mac with same price

[송준 Jun Song @songjunkr]

@iam_shanmukha Quality is always the problem

[송준 Jun Song @songjunkr]

@LottoLabs MBP M5 max has 2x faster memory bandwidth

[송준 Jun Song @songjunkr]

화면이 고장난 Macbook Pro는 다행히 무상으로 ��리를 받았는데,

문제는 수리기간 일주일동안 기기를 사용 못하네요.

강제로 일주일 휴가를 받았군요 😮‍💨

작은 프로젝트만 DGX로 해야겠어요

[송준 Jun Song @songjunkr]

맥북 프로 M5 max 128gb를 산지 일주일이 되었는데 고장났어요

화면에 빨간색 세로 줄이 생겼네요

🥲🥲

[송준 Jun Song @songjunkr]

@ManishBhakti I prefer Mac Studio

[송준 Jun Song @songjunkr]

@______Joel____ I heard DGX Spark is already raising another $500 soon.

[송준 Jun Song @songjunkr]

제가 이 글을 올린지 2달이 조금 안되었는데,

이미 전세계에서 중고 MacStudio 가격은 1.5배에서 2배 비싸졌습니다.

이제는 신제��도 판매가 중단되었고, 로컬LLM의 수요는 계속해서 늘어나고있습니다.

Cloud AI 구독비용은 사라지지만, 하드웨어는 사라지지 않습니다.

가격은 오히려 오를겁니다.

[송준 Jun Song @songjunkr]

구형 맥스튜디오 중고가격이 엄청나게 오를겁니다.

사실꺼면 빨리 사시는게 좋아요.

이미 m1 m2 64gb이상 램 모델은 전국에서 품절이고

어디를 봐도 구매글밖에 없습니다.

로컬LLM이 소형화되는 추세고, 추론에 필요한건 VRAM과 대역폭뿐인데,

중고가격이 반값도 안되는 M1과

신형인 M4는 추론성능으로는 차이가 크게 안납니다

[송준 Jun Song @songjunkr]

@NUBI_haut @juheonju146904 급하게 추천드리기는 어떻게될지 몰라서 추천드리기는 조심스러운데, 맥북은 쓰로틀링때문에 성능을 최대한 사용하기는 어렵습니다. 가격도 더 비싸구요

[송준 Jun Song @songjunkr]

Buy hardware when you can afford.

Start building your own local LLMs

[Jukan @jukan05]

This is only the beginning. Eventually, prices for all IT consumer products are going to rise sharply.

[송준 Jun Song @songjunkr]

@park_soonhyung M3 울트라칩이 연산속도가 느려서, DGX나 5090 6000 그래픽카드를 결합해서 사용하는 기술이 개발중인데 그게 더 도움될것 같습니다. 아직 완성단계는 아닌것 같지만 지켜보는중입니다. @__tinygrad__
맥미니는 크게 도움이 안되실것 같습니다. 출장용으로 맥북 추천드립니다.

[송준 Jun Song @songjunkr]

구형 맥스튜디오 중고가격이 엄청나게 오를겁니다.

사실꺼면 빨리 사시는게 좋아요.

이미 m1 m2 64gb이상 램 모���은 전국에서 품절이고

어디를 봐도 구매글밖에 없습니다.

로컬LLM이 소형화되는 추세고, 추론에 필요한건 VRAM과 대역폭뿐인데,

중고가격이 반값도 안되는 M1과

신형인 M4는 추론성능으로는 차이가 크게 안납니다

[송준 Jun Song @songjunkr]

@ksuniri 감사합니다. 세팅 하시다가 질문 있으시면 편하실때 dm으로 문의 주세요!

[송준 Jun Song @songjunkr]

로컬 LLM 전략 :

‘모델‘에 너무 많은 시간을 사용하지 마세요.

더 강력한 새로운 모델은 매주 공개됩니다 (실���로)

모델은 언제든 스위치할수있게(Plug-and-play) 준비하고
(모델 연구는 저희 연구자들에게 맡기세요)

하드웨어, 하네스, 에이전트 세팅에 시간을 사용하시는게 좋습니다.

[송준 Jun Song @songjunkr]

@ksuniri 추가적으로 Openclaw는 토큰을 과도하게 잡아먹어서 많이 느릴수 있습니다.
Hermes agent를 사용하시면 훨씬 쾌적하게 사용 가능합니다.

[송준 Jun Song @songjunkr]

@RHKupfer @evrgn11112231 우리는 이미 한달전에 OPUS-4.5 수준을 맥북에서 구동중입니다.