bungula

“So High, So Low, So Many Things to Know”

[bungula @bungula1]

@sara_lisovtsev נישתי אבל פייג'ראנק של לארי פייג', וMySQL על שם My הבת של המפתח

[bungula @bungula1]

@ReemSherman https://t.co/FqhIOP8W3U
מודלים סיניים פתוחים מפגרים רק 4 חודשים מאחורי המודלים האמריקאיים.
יכול להיות שהפער יגדל כשלסינים לא תהיה גישה נוחה למודלים החזקים, אבל בכל מקרה המדיניות האמריקאית הנוכחית היא לא ברת קיימא.

[bungula @bungula1]

@OriKatz3 הנתונים האלה לא משכנעים אותך?
הדמוגרפיה היחידה שעדיין תומכת בנו הם רפובליקאים מבוגרים, השאר במגמה שלילית עקבית, גם לאורך השנה האחרונה.

https://t.co/CwsspOueFq

[bungula @bungula1]

@robinhanson I guess that's one of the reasons frontier LLM thinking traces are summarized/obfuscated.
I should try this experiment on an open-weights model, see if it has "thoughts one must not say".

[bungula @bungula1]

@yoavgo לא השתנה מאתמול

[bungula @bungula1]

@urieli17 https://t.co/9fuTGtNpOb
אני רוצה להאמין

[fabian @fabianstelzer]

Rumour mill going crazy on this new mistral model

- Napoleon class model with >10T params
- smokes Mythos on VoltaireBench
- for safety reasons only outputs French language code

[bungula @bungula1]

@Nokkout1 @OriKatz3 >>>יכול להיות שמתישהו הקורלציה הזאת תישבר, אבל לא רואה סיבה להיות בטוח בכך.

מתישהו בוודאות ייעצר הגידול האקספוננציאלי במשאבים שמשקיעים במודלים*, אבל עד אז יכול להיות שהעולם מאוד ישתנה.

* לו רק בגלל שננצל את כל האנרגיה של השמש ונצטרך לחכות שנים עד שנגיע לכוכב חדש

[bungula @bungula1]

@Nokkout1 @OriKatz3 עד עכשיו רואים קורלציה בין כמות המשאבים שמשקיעים באימון מודל לאיכות שלו. בתנאי מעבדה אפשר אפילו לשרטט קו ישר בגרף אם בוחרים נכון את ציר x וy.

גם רואים קצב שיפור קבוע לאורך הזמן בשנים האחרונות, שנובע בין היתר מהגידול במשאבים שמשקיעים בכל מודל.
>>>

[bungula @bungula1]

@itamarcaspi תחזית: תהיה קריסה בבורסה כשתיפתח ביום שני, וזה יגרום לשינוי מדיניות.
כמו שקרה באפריל 2025 כשטראמפ הכריז על מדיניות המכסים החדשה - הממשל האמריקאי די משוגע, אבל למזלנו יש שוק שמרסן אותו.

https://t.co/lqxoc0EfCm

[bungula @bungula1]

@urieli17 >>>אם אנחנו מפתחים מודל בעצמנו על בסיס מודל פתוח, האם אפשר להיות בטוחים שלא הכניסו backdoor למודל?

[bungula @bungula1]

@urieli17 הערך היחיד של חוות שרתים בישראל זה LLM-ים לגופים בטחוניים, לא?
וזה נושא שמעלה הרבה שאלות מעבר למיקום של החווה, למשל:

האם ישראל יכולה לבצע עסקה עם ספקית LLM, כמו שמשרד הבטחון האמריקאי רצה לבצע עם אנתרופיק?
<<<

[bungula @bungula1]

@Aella_Girl daily, I suspect there's a general horniness factor that explains many correlations

[bungula @bungula1]

@OriKatz3 הם יתגייסו עוד 200 שנה במלחמת העולם בין החרדים לאמיש, כמובן

[bungula @bungula1]

@banana_baeee @DavidSHolz Interesting!
But are frontier LLMs data constrained? I thought RL solved this issue but maybe I'm wrong.

[bungula @bungula1]

@DavidSHolz I really don't know, but shouldn't generalization be implied by scaling laws? Scaling laws track a proxy for quality, which should include generalization.

Also apparently we can convert a trained AR model to a diffusion model, so we should check scaling laws for AR+conversion.

[bungula @bungula1]

@tamritzblog יכול להיות שעבור חברות מסוימות הגיוני לפטר עכשיו אם הם מצפות שעוד שנה יהיו מודלים מספיק טובים.

[bungula @bungula1]

@DuduLagziel @OriKatz3 כי ישראל ביקשה מארה"ב לקלוט פחות מהגרים יהודים