צלף כסף קל

צולף בכסף שהוא קל

[צלף כסף קל @EsquiraR]

@megamor2 Super cool and elegant method

[Mor Geva @megamor2]

What's in a neuron? 💫 (an atypically long, almost personal post)

Neurons in LMs have always been a fascinating object to study. I've been studying them since 2020, viewing them as key-value memory cells, analyzing what they capture in vocabulary space, and how they compose together to form features.
https://t.co/jHiZ7wLmrH
https://t.co/tYgtR6vxNi
https://t.co/eZfHTnVrgp
https://t.co/kukRY6RsDU

But many neurons still remain opaque! They do many things.

Our recent work led by @AsafAvrahamy tackles this challenge by decomposing neuron weights in vocabulary space. We do this by taking the neuron weight vector and learning different ways to rotate it (just a bit) to reveal monosemantic vocabulary channels that it captures. The nice thing about our method ROTATE is that it's data-free and super efficient, relying only on vocabulary kurtosis as a search signal.

I've been thinking about this idea since 2024, proposed it to multiple students, but only Asaf was brave enough to take this ;)
Very happy with the final outcome. Check out the paper! 👇
https://t.co/oHLMAtY1F0

[צלף כסף קל @EsquiraR]

@yoeli_brim @shemeshmicha מעצרים מנהליים לחרדים. רק ככה

[צלף כסף קל @EsquiraR]

@sagi_a8 @LevyEilon Real debrid
ישנה לך את החיים

[צלף כסף קל @EsquiraR]

@ofek_kasif לא יאומן כמה סטאנים יש לאיש

[צלף כסף קל @EsquiraR]

@eranshir חייב להעביר בפקס את הדאטה כי לא תומכים במייל

[צלף כסף קל @EsquiraR]

@PnL63962200 מעניין אם מעכשיו ייכתבו וירוסים שדורשים long context מוגזם כדי לאתגר את המודלים

[צלף כסף קל @EsquiraR]

@drewxcottb6745 @WorldWideWob Are you talking about Kawhi “two times finals mvp” Leonard pr someone else?

[צלף כסף קל @EsquiraR]

@benirabin נראים כמו דמויות של רועי כפרי מיקומות

[Noam Cohen נועם כהן @Noam92Cohen]

כאשר משקרים ומוציאים אותך מהקשר לחלוטין אבל לפחות יודעים לספק מחמאה וואו

[צלף כסף קל @EsquiraR]

@anat_kamm תמצית היהירות הביביסטית. כללי התנהגות בבית משפט הופכים להטפות מוסר

[צלף כסף קל @EsquiraR]

@yoeli_brim זה לא עירייה זה כת במימון המדינה שמנהלת חצי מיליון איש

[צלף כסף קל @EsquiraR]

@Yampeleg Finetune, not train

[צלף כסף קל @EsquiraR]

@EmaniMone @cemburuya Haha if you want to spend 10 times more that’s on you. You obviously possess super high levels of “comprehension”

[צלף כסף קל @EsquiraR]

@EmaniMone @cemburuya False. It is 26$ on Ali Express

[צלף כסף קל @EsquiraR]

דלפ רוסליה בעברית נשמעת כמו דוד ד׳אור

[צלף כסף קל @EsquiraR]

@roi_zaga הוא שיחק לא טוב?

[amir glickman @AmirGlickman]

חמאסניק: מתן מתן תעביר את השאכטה חחח 

מתן: די אחמד יא מניאק אני מדבר עם אמא שלי חחח

[צלף כסף קל @EsquiraR]

@iditsilman את לנצח תיזכרי כמאפשרת המרכזית של ממשלת הטבח. לא משנה כמה תנסי לזרוק אחריות, זה קרה במשמרת שלך. טבח עידית סילמן, טבח הפיתות, טבח השוחד