ezoomin

They produced a sound that was fresh, energetic, and unmistakably their own.

[ezoomin @ezoomin]

#머그샷 떳어요! #mugshot #0010 #영영독빵

[ezoomin @ezoomin]

#0010 으로 숫자점을 쳐 보니 4형은 어렵다고 나오네요. 애석하지만 무기 예상합니다.
#영영독빵 !

[Hyung Won Chung @hwchung27]

I gave a talk at Seoul National University.

I titled the talk “Large Language Models (in 2023)”. This was an ambitious attempt to summarize our exploding field.

Video: https://t.co/vumzAtUvBl
Slides: https://t.co/IidLe4JfrC

Trying to summarize the field forced me to think about what really matters in the field. While scaling undeniably stands out, its far-reaching implications are more nuanced. I share my thoughts on scaling from three angles:

1) Change in perspective is necessary because some abilities only emerge at a certain scale. Even if some abilities don’t work with the current generation LLMs, we should not claim that it doesn’t work. Rather, we should think it doesn’t work yet. Once larger models are available many conclusions change.

This also means that some conclusions from the past are invalidated and we need to constantly unlearn intuitions built on top of such ideas.

2) From first-principles, scaling up the Transformer amounts to efficiently doing matrix multiplications with many, many machines. I see many researchers in the field of LLM who are not familiar with how scaling is actually done. This section is targeted for technical audiences who want to understand what it means to train large models.

3) I talk about what we should think about for further scaling (think 10000x GPT-4 scale). To me scaling isn’t just doing the same thing with more machines. It entails finding the inductive bias that is the bottleneck in further scaling.

I believe that the maximum likelihood objective function is the bottleneck in achieving the scale of 10000x GPT-4 level. Learning the objective function with an expressive neural net is the next paradigm that is a lot more scalable. With the compute cost going down exponentially, scalable methods eventually win. Don’t compete with that.

In all of these sections, I strive to describe everything from first-principles. In an extremely fast moving field like LLM, no one can keep up. I believe that understanding the core ideas by deriving from first-principles is the only scalable approach.

[ezoomin @ezoomin]

@PSG_KR

[Paris Saint-Germain @PSG_KR]

🇰🇷🏆

PSG의 이강인 선수를 포함한 대한민국 남자 축구 U23 대표팀이 아시안게임 결승전에서 승리를 거두고 금메달을 획득했습니다! 승리를 진심으로 축하합니다 ❤️💙

South Korea’s U23, including PSG’s Kang-In Lee, wins the gold for the Asian Games. Congratulations ❤️💙

[ezoomin @ezoomin]

구글에서 머신러닝 부트캠프 참가자를 모집중입니다. 이번주 일요일 마감! 신청은 여기-> https://t.co/FTbGTLwBpr

[Paris Saint-Germain @PSG_KR]

안녕하세요 👀

[Paris Saint-Germain @PSG_KR]

#PSG 한국 공식 계정을 팔로우하고 #이강인 선수의 싸인 유니폼을 받아 가세요!!

❤️ 참여 방법:

1. @PSG_KR 팔로우

2. 리트윗 및 좋아요 누르기

3. 댓글로 친구 3️⃣명 이상 태그

💙 이벤트 기간:

7/9 ~ 7/31

#WelcomeLeeKangIn 🔴🔵

#ICICESTPARIS #PSGKR

[ezoomin @ezoomin]

#전어 의 계절이 온다 https://t.co/APdrwwUojN

[광파리_IT 이야기 @kwang82]

내리면 탑시다 제발.
지하철도 그렇고
대통령직도 그렇고...

[ezoomin @ezoomin]

미얀마 시민들이 무사하시기를 빕니다. 미얀마에도 민주주의의 봄이 오기를 빕니다.
ကျွန်ုပ်တို့သည်မြန်မာနိုင်ငံတွင်ဒီမိုကရေစီကိုထောက်ခံသည်။ ကျွန်ုပ်တို့သည်မြန်မာနိုင်ငံ၌နွေ ဦး ရာသီကိုထောက်ခံသည်။. #SaveMyanmar

[더레프트 @1theleft]

대한독립은 현재 진행 중
2019년 임시정부 수립 100주년
역사를 바로 세우는 대한민국
문재인 정부 #데일리문

[티티티티티 @jeangha]

지금이라도 한번씩 이름 불러드려야겠다...
고맙습니다.
이렇게 애써주신 네티즌 채고!

[김기준 @j02kj2]

죄송 합니다! 제가 알지 못하는 분들이 거의 대부분 입니다! 학교에서 배운 몇몇 분들의 성함만! 얼굴만! 알 뿐입니다! 그리고 여기에 계신 선생님 들 이외에 얼마나 많은 분들께서 빼앗긴 나라를 되찾기 위해 #독립운동 을 하시다 목숨을 희생 하셨을까요! 이제라도 고이 간직하고 기억 하겠습니다

[ezoomin @ezoomin]

그러고보니 인생의 낭비를 8년째 하고 있군요 ㅋㅋㅋ https://t.co/UBM3rd6INF

[ezoomin @ezoomin]

요샌 띄엄띄엄하지만.. 제가 8년 넘게 실사용하는 서비스는 열손가락에 꼽힐 것 같네요.

트위터에 가입한 날이 언제인지 기억하시나요? 트위터는 기억한답니다! #MyTwitterAnniversary

[ezoomin @ezoomin]

요샌 띄엄띄엄하지만.. 제가 8년 넘게 실사용하는 서비스는 열손가락에 꼽힐 것 같네요.

트위터에 가입한 날이 언제인지 기억하시나요? 트위터는 기억한답니다! #MyTwitterAnniversary

[ezoomin @ezoomin]

@PUBATTLEGROUNDS Hello, I'm a Xbox user in South Korea. If i pre-order PUBG at https://t.co/PgB5mg7fQc, can i play the game in Korean Language on Xbox one S?

[ezoomin @ezoomin]

잔잔하게 가다가 중반부터 청자를 드러머 자리에 앉히는 드라마틱한 연출!
#NowPlaying I Don't Want To Change You by #DamienRice #데미안라이스 #음악 #music https://t.co/VA3g12ti1I

[국회의원 이재정 @lovelylawyerjj]

[이재정의원실] 세월호 참사 미수습자 유가족들이 끝내 너무나 어렵고 마음아픈 결정을 내렸습니다. 더 이상 수색을 요구하지 않겠다는 것입니다. 하지만 선체조사와 2기 특조위도 남아있습니다. 모든 미수습자들이 가족의 품으로 돌아올 그 날을 함께 기다립니다. https://t.co/7sqvbGB7V6

[최재성 @withjs21]

정당발전위원회가 28일 까지입니다.마음이 바빠집니다.
분탕과 구정치와 쟁투했던 긴 시간 함께 했고 정권도 바꿨습니다.반칙과 정략,구정치에 가슴앓이 안하는 그런 정당, 그래서 즐겁고 뿌듯한 정당에 대한 소박한 기대가 열망으로 쌓이는 과정이었습니다.그런 정당 꼭 합시다