Amit Bendor

[Amit Bendor @amit_bend]

כמה עולה כל מילה בתשובה של Claude? וכמה מורכב זה להרים שרת שמריץ מודל שפה ענק? פרק חדש ב״עושים תוכנה״, אירחתי את @MikeE_3_14 לפרק בדיוק על זה.
האזנה נעימה 🎧

[Mike Erlihson, Math PhD, AI @MikeE_3_14]

חושבים שאתם מבינים איך LLMs עובדים? תחשבו שוב. 🤯

מה באמת קורה מאחורי הקלעים כשאתם שולחים פרומפט? איך דוחסים מפלצות של מאות מיליארדי פרמטרים לתוך עשרות GPUs, ואיך הקלסטר הזה מצליח לשרת אלפי משתמשים במקביל בלי להתפוצץ? 💥

התארחתי לאחרונה לשיחה מטורפת אצל @amit_bend בפודקסט האגדי שלו ״עושים תוכנה״.

פירקנו את עולם האינפרנס מבפנים. בלי בולשיט, צללנו ישר לברזלים:
🔹 מה זה KV Cache ולמה בלעדיו הכל קורס
🔹 סודות הקסם של Batching
🔹 ההבדל (שכולם מפספסים) בין Prefill ל-Decode
🔹 איך לעזאזל מחלקים מודל אחד בין כמה GPUs שונים
🔹 ואיך עובד הקסם של Mixture of Experts

אם אתם מהנדסים ורוצים לגלות למה Inference הפך לתחום הכי קריטי וחם בעולם ה-AI היום (כן, יותר מאימון מודלים), ואיך אתם יכולים להתחיל להריץ מודלים כאלה בעצמכם בבית, אתם פשוט חייבים להאזין לזה.

לינק לפרק המלא בתגובה הראשונה! 👇🎙️

[Amit Bendor @amit_bend]

@MikeE_3_14 היה כיף גדול לארח אותך! למדתי הרבה

[Amit Bendor @amit_bend]

@urieli17 אמר וצדק

[האדם החושב @OsimHistoria]

״מתישהו החגיגה הזאת עלולה להיגמר״
ד״ר מייק ארליכסון מגיע ל״עושים תוכנה״ לדבר על איך באמת מריצים LLM בסקייל עצום.
לינק בתגובה הראשונה 👇
#פודקאסט #llm
@MikeE_3_14 @amit_bend

[Amit Bendor @amit_bend]

@urieli17 ההימור שלי שהפריצה של המודלים הקטנים תגיע מopenclaw למיניהם

[NanoClaw @NanoClaw_AI]

✨ Announcing NanoClaw v2, in partnership with @vercel.

We completely rebuilt how NanoClaw agents communicate with the outside world. v2 brings agent-to-agent communication, human-in-the-loop-approvals, support for 15 messaging platforms, and more.

A thread on what's new:

[Amit Bendor @amit_bend]

@mluggy תודה על הפרגון!

[Amit Bendor @amit_bend]

@oreliaz10 איך זה לחיות במקום כל כך חם?

[Amit Bendor @amit_bend]

@urieli17 פשוט לא נתפס איך חדשות בתחום שלנו מזיזות את הכלכלה העולמית.
מי היה מאמין שמודל open source יעשה כאלה גלים לפני כמה שנים

[MLCON @mlconference]

🥁The ML Strategy Day is in full swing at the #MLcon #Munich! 🚀 We’re exploring the power of #LLMs like #ChatGPT, #Mistral, and #Claude together with @pieterbuteneers @amit_Bend & @chenkelmann. 🧑‍💻💡

[Amit Bendor @amit_bend]

@AmitMandelAI בהצלחה! לקחת סיכונים זה חלק חשוב מהחיים, גם אם לפעמים לא הולך

[Amit Bendor @amit_bend]

Music is the closest thing we have to a time machine.

[Amit Bendor @amit_bend]

This is *WoW*

[ElevenLabs @ElevenLabs]

Here’s an early preview of ElevenLabs Music.

All of the songs in this thread were generated from a single text prompt with no edits.

Title: It Started to Sing

Style: “Pop pop-rock, country, top charts song.”

[Amit Bendor @amit_bend]

@urieli17 לגמרי, לא מבין את ההעדפה הכללית בשוק לזום. ובכלל הצורך בתוכנה במקום ממשק וובי

[MLCON @mlconference]

🎬 ML Strategy Day: Leading Your AI Team to the Center Stage of Your Company with @amit_bend

[Amit Bendor @amit_bend]

@chenosfeldman התחל לשתות אבל השאלה אם אתה מסיים

[Amit Bendor @amit_bend]

@chenosfeldman טיפ של נסיכים

[Amit Bendor @amit_bend]

@chenosfeldman 😍😍

[Amit Bendor @amit_bend]

@chenosfeldman עולה לדבר עוד שעתיים בכנס במינכן. מה נותן לך אנרגיה חיובית מאוזנת לפני שאתה עולה לבמה?

[Amit Bendor @amit_bend]

Did anyone else notice that Bard became much better in the past few days?