Sam Price

monkeyapp and Omegle

[Sam Price @greenhouseEPC]

https://t.co/8CVc8j5riT

[Sam Price @greenhouseEPC]

#omegle #monkeyapp #teenagee #momson

[Sam Price @greenhouseEPC]

#omegle #monkeyapp #teenagee #momson

[nick ₊ﾟ୭ 💤 & that @jisgjinie]

@littlestarligxt LAU AMOR D MI VIDA HOLA 😭 PERDONAME YO SE Q NO CONTESTO HACE 2 SEMANAS

[Mar.panshuuuwa @panshuuuwa]

Yo ayer q me cague com dos mordidas a un postre d MILO

[Jennifer, English-German Translator @InfoRosebrock]

@rustylakecom Feels like it's been "only 1 month" for a few months now :D I keep thinking: 'any day now..'

[호요요🌱 @hoyoyoda]

@Sela_Lady 나는 나우푸드나 솔가거 먹어
혹시 주사 맞았어? 비타민 D?
맞았으면 1000~2000iu로 먹고
안맞았으면 당분간 고용량으로 챙겨주는것도 좋아~3000이상

[lexi ✿ @isthejm]

@tokygz m pasa… a veces hasta m dan ganas d cambiarme d cuenta yore

[ELLB78 @ellb78]

@dragonduclos Oui mais le Conseil d État 🤷‍♂️

[Michelle Oliverio @M_oliverio]

WTS VIP STANDING EXO PLANET #6 - EXhOrizon in SINGAPORE 🇸🇬
📅 24 July (Fri)
✔️ VIP STANDING PEN D/C (Random Q)
💰 $490 EACH (Pairs/Singles)
📲 Direct transfer via Ticketmaster mobile app
DM for proof/buy! 📩
#EXO #EXhOrizon #EXOinSG #WTSEXO

[Clarice Mayrink Sampaio @Clarice_mayrink]

@khanmkzb D

[code_n_money @code_n_money]

Fine tuning에서 IA3란.

먼저 기본 지식 복습. LoRA는 가중치 W를 직접 바꾸지 않고 저랭크 업데이트를 더한다.

W' = W + BA
A ∈ R^(r×d_in), B ∈ R^(d_out×r), r << d

feature 간 새로운 선형 조합을 학습하므로 표현력이 높다.

IA3는 가중치는 고정하고 내부 activation을 채널별로 scaling한다.

h' = l ⊙ h

주로 Attention의 K, V와 FFN 중간 activation에 학습 벡터 l을 곱해 기존 feature를 강��하거나 억제한다.

둘의 비교는 다음과 같다.

LoRA:
- 파라미터 수: O(r(d_in + d_out))
- 표현력과 안정성이 높음
- instruction tuning, 스타일 변경, 도메인 적응, 생성 태스크에 적합
- 일반적인 LLM 파인튜닝의 기본 선택

IA3:
- 파라미터 수: O(d)
- LoRA보다 훨씬 작고 추론 오버헤드가 거의 없음
- 분류, NLI, QA처럼 기존 representation 재조정에 적합
- 태스크별 adapter를 대량 저장하거나 메모리가 매우 제한적일 때 유리

언제 무엇을 쓸까?
- 출력 행동이나 생성 능력을 크게 바꾸려면 LoRA.
- 기본 모델 능력은 충분하고 특정 feature의 강도만 조절하려면 IA3.