Yoonho

programmer, trader, daddy, scientist, geek & nerd

[Yoonho @youknow04]

앤트로픽에서 분기별 인당 LOC 를 발표했길래 우리도 똑같이 계산해보니 비슷하게 8.x 배 나오더라.

LOC caveat 도 왜 붙인건지 알것 같아서 피식 했는데,
사실 이쯤되면 메트릭이 어쩌고가 문제가 아니라 정신이 없다.

이 속도에서의 커뮤니케이션을 큰 규모로 어떻게 해결 했는지가 신기함.

[Yoonho @youknow04]

유명한데서 LLM 추론에 TP=2 로 초선형 스케일링을 하는 글을 쓰길래 와 뭘하면 저렇게 할 수 있지 나만 모르는건가? 구경 갔는데.. 2x5070 에서 VRAM 늘어서 오프로딩이 줄어든거였다;

옛날 같으면 긱들이 하나라도 보였을것 같은데 요즘 다들 둥글둥글 혹은 저는 친절한 AI assistant 노잼이네.

[Yoonho @youknow04]

요즘 빠른 LLM 들에 유용함을 느끼고 있다.
작업속도 못따라가니까 직렬로 연쇄 질문 하면서 매일 온보딩 한다는 느낌으로 사용 할 때 좋은것 같음.
이해와 관련 숏턴 작업은 병렬화 하기가 너무 어렵더라.

[Yoonho @youknow04]

@alstjr7375 @golbin 오.. 좋은 소식이네요.

[Yoonho @youknow04]

vllm 에도 이번에 러스트 프론트 올라왔던데 요즘 온통 러스트가 핫하다.
근데 난 점점 러스트 숙련이 떨어지는 느낌이라 뭔가 아쉬움.
깔짝 하는거 말고 각잡고 러스트 코딩 해본지 한참된것 같다 이러면 숙련 더 떨어지던데..

[Yoonho @youknow04]

@ChungHa4 이런 방향의 이유로 cc 같은 폐쇄형 하네스가 점점 귀찮아지는것 같아요.

[Yoonho @youknow04]

NVIDIA 최신 컨슈머용 GPU 구매자들도 이번 RTX Spark 출시의 수혜자 같음.
요즘 데이터센터용 GPU 지원이 우선시돼서 SM12x 계열(Blackwell 이지만 RTX 계열이나 DGX Spark 등)은 지원이 밀리곤 하는데,
같은 아키텍쳐를 쓰는 생태계가 커지는건 좋은소식.

[Yoonho @youknow04]

ㅋㅋㅋ 하다가 문득 생각해보니 GPU 더 사고 싶은것도 장비병 아닐까 뜨끔.

[Jake Seo @JakeSeo8]

작업스타일에 따라 다른데요
7개는 블룸버그 주식 트레이더거나 장비병이라고 봅니다

https://t.co/nQz99yxA5Q

[Yoonho @youknow04]

쿨링은 오버클럭 덕후 계열이 좋아하는 놀이문화라는 느낌이 있었는데 나도 갑자기 방열을 어떻게든 해야 하게 생겼다.

찾아보니 공랭식 쿨러는 대체로 풍량&풍압 vs 소음 의 트레이드 오프고, 정숙함을 희생해서라도 풍압쪽이 높은 쿨러가 필요한 상황인듯.

[KwonHan @darjeelingt]

@ccoroom kodex 나 codex 나 둘다 200인건 마찬가지죠

[Yoonho @youknow04]

친구가 깜짝 놀랄정도로 잘풀린거 자랑함 ㅋㅋ
요즘 여기저기 우울한 얘기들이 많이 들리다가 뜬금 너무 좋은소식을 들으니까 기분 좋았다.

[Yoonho @youknow04]

@gbox_at 막연하게 한국은 국한혼용체 데이터도 있어서 그런건가 싶었는데 반대로 고통받는 경우도 있군요.

[Yoonho @youknow04]

Step-3.7-Flash 엄청 빠르다는 소문이길래 돌려봤는데 빠르네.
2xRTX PRO 6000 NVFP4 기준,
vLLM 용 권장 세팅으론 안돼서 이거저거 끄고 MTP 도 껐는데 쌩으로 90 TPS 나온다.
추후에 안정화 되고 latency 최적화로 올리면 200 TPS 도 넘길듯?

[Yoonho @youknow04]

불확실성 속의 실행자와,
확실해진 후의 스토리텔러(평가자) 입장 차이가 잔잔하게 느껴져는게 메타-재미.

[Yoonho @youknow04]

deepseek 급 오픈모델인데,
모델이 개선되며 per-harness gap 이 줄어든 차트가 흥미롭다.

사실 이런게 예전부터 하던 고민의 원인이기도 하다.
장기적으로 보면 harness 의 유용함이 빠르게 풍화됨.

그래도 해야하는데 그럼 어디를 힘주고 어디를 힘빼야 할까?

https://t.co/DJMIaxCoO1

[Emergence @PcIOvebbCbTdSTb]

덜 닦인 설거지를 흐린 눈으로 넘어가는 것

[Yoonho @youknow04]

환경마다 차이는 있겠지만 AI 코딩이 늘린 CPU 수요는 자잘한 툴콜링 보단 테스트의 비중이 클거다.
- 테스트 코드 양 x배
- 작업당 호출빈도 y배
- 절대적인 작업량 z배
가 모두 늘면서 xyz배 곱연산으로 고통받는 CI..

[Yoonho @youknow04]

근데 코드 박는다고 표현하면 안되는건가?
외않되?

역시 안된다면 그 환경은 사람들이 일하면서 안전감을 느낄 수 있는 환경일까?

[Yoonho @youknow04]

정신 없이 바뀌는 세상이지만 똑똑하고 비싼 LLM 이랑,
저렴하고 성실한 LLM 의 용도를 분리 할 때의 유용함은 장기적으로도 바뀌지 않을것 같다.
전자가 후자의 업무를 효율적으로 대체하지 못한다.

바꿔말하면 이쪽으로 쌓는 추상화는 장기적으로도 유용할듯.

[Yoonho @youknow04]

@JakeSeo8 이런거 할 때 나는 어른이지롱 같은 느낌 들지 않나요? ㅋㅋㅋㅋ