Daniel Soudry

Associate Professor at the Technion, try to understand how AI works, and how to make it more efficient.

[Yonatan Mandelbaum @YonatanMandelba]

לקראת ראש השנה אנחנו מפרסמים את TLV AI 50: רשימה של 50 חוקרים ויזמים ישראלים בעלי ההשפעה הגדולה ביותר השנה בתחום ה-AI. חוקרים שהרעיונות שלהם מעצבים איך המודלים המודרניים חושבים, רואים ומסיקים, ויזמים שהופכים את הרעיונות האלה לשבבים, לחברות ולמוצרים שהעולם רץ עליהם.

הרשימה המלאה: https://t.co/VTMuvDP11P

30 חוקרים, 20 יזמים, 7 מאמרים. חשוב לציין שזה לא דירוג, אלא תמונת מצב של הישראלים המשפיעים ביותר בעולם מחקר ה-AI.

כמה מגמות שבולטים:
- ניאו-לאבס ישראליים סוף סוף צצים בשכבת המודלים
- אבטחת AI: דור חדש של AI natives מגדיר איך מחסנים ומאמתים מערכות - וישראל בחזית
- ראייה ממוחשבת: כמה מהמעבדות המצוטטות בעולם, עם סטארטאפים שהופכים את הכישרון הזה ל-physical AI

ולא רק: 7 מאמרים ראויים לציון של חוקרים ישראלים צעירים, מתחת לרשימה.

[Gon Buzaglo @gon_buzaglo]

In continual learning, what is the algorithmic bias of explicit regularization?

We answer this in our new COLT 2026 paper:
Convergence of Continual Learning in Homogeneous Deep Networks

Work by @MatanSchliserm1 joint with @itayevron and @soudry_daniel
https://t.co/lyHqz13WIn

[Eran Segal @segal_eran]

ישראלים בחו״ל — בסוף אוקטובר יתקיימו בישראל עשרות כנסים אקדמיים. המועד המדויק (ככה"נ 19 או 26 באוק') ייקבע בקרוב

לרשימת עשרות הכנסים ��מתארגנים: https://t.co/CRrhnzBAY4

[Elad Hoffer @eladhoffer]

Excited to share our new arXiv preprint:

"Retrieval from Within: An Intrinsic Capability of Attention-Based Models"

We introduce INTRA, a framework where attention-based models retrieve from their own internal representations.

https://t.co/vcuK6GZGOU

1/5 🧵

[Daniel Soudry @soudry_daniel]

Accelerate your transformer model with the new Block-Sparse-Flash-Attention! https://t.co/d8MLq91RPW
This training-free, drop-in replacement extends FlashAttention-2 with minimal code changes (CUDA Kernels Included). Paper: https://t.co/1CLMkCUWNT

[PapersAnon @papers_anon]

Scaling FP8 training to trillion-token LLMs

From Intel. Trained a 7B model using FP8 precision on 256 Gaudi2 accelerators. Matched BF16 with 34% throughput improvement while using 30% less memory. Introduces Smooth-SwiGLU as solution to outlier amplification.

Links below

[Gon Buzaglo @gon_buzaglo]

I'm back in Vienna to present our paper at @icmlconf with Itamar Harel on Wednesday at 1:30 pm, at poster #907. Looking forward to meeting and chatting! #ICML2024

[Gon Buzaglo @gon_buzaglo]

Selected as Spotlight for #ICML2024 ! 🥳

[Gon Buzaglo @gon_buzaglo]

Q: You sample random neural networks until you find one with perfect training accuracy.
What will be the generalization error?

A: Typically good —
We prove that when a “simple explanation” exists, such sampled NNs (MLP/CNNs) generalize well!

https://t.co/njyn1kFPAM