@OriKatz3 לימודי ליבה זו ההנחה שמי שילמד ילך לעבוד?
אם ילמדו ליבה וחצי לא ילך לעבוד - התחזית שגויה?
אם ישתנה השוק ולימודי ליבה (מתמטיקה) כבר לא חשובים - התחזית שגויה?
אני שואל כי זה סעיף עם השקעה ענקית (כמו כמה סעיפים נוספים)
@AsherFitness42 אני חושב שיש פה משהו שעלול להטעות:
פחות תמורה לא אומר שאין תמורה. נפח הוא חשוב. במיוחד בגדילת שריר.
אם כבר רוצים לחסוך בזמן, נראה לי שהמסלול המומלץ הוא יותר תרגילים מורכבים - ופחות מכשירים.
@AfekAlon משתנה קריטי הוא כמה זמן אפשר להקדיש לפעילות.
מאמין שאם הזמן קצר, נניח שעה וחצי ומטה בשבוע, אירובי ינצח. יותר זמן - כנראה שכח ינצח.
עבור בריאות יש לאירובי diminishing returns מהיר יותר.
מהנדס בנטפליקס פיתח כלי שחוסך כסף וטוקנים בעבודה עם AI
מהנדס בכיר בצוות ה ML של נטפליקס
פיתח כלי קוד פתוח בשם Headroom אחרי שקיבל חשבון של 280 דולר על שימוש ב Claude.
הכלי דוחס את המידע שסוכן ה־AI שולח למודל, כולל לוגים, קבצים והיסטוריית שיחה, כדי לצמצם שימוש מיותר בטוקנים.
איך זה עובד: Headroom רץ כפרוקסי מקומי מעל כלים כמו Claude Code או Codex, מזהה איזה מידע כבר נשלח, מעביר רק מידע חדש ורלוונטי, ומפעיל דחיסה ייעודית לקוד, מסמכים וקובצי JSON.
לפי המפתח, מאז השחרור הכלי חסך למשתמשים כ־200 מיליארד טוקנים, בערך 700 אלף דולר.
הפרויקט פתוח בגיטהאב וצבר כבר יותר מ־1,900 כוכבים ו־30 תורמים פעילים.
Cognitive surrender is the default state I’m seeing around me.
I miss the days when I would sit down for a couple of hours and solve a problem, code, learn. As I use agents more I can feel my “sitting down” ability atrophy. It’s scary.
We need to have tactics for fighting this.
⚡️ה-bitter lesson האגדי של @RichardSSutton מכה שוב
🧲והפעם זה נמצא במחוזות הדאטה בפרט "דאטה איכותי" מה תגידו אם אספר שסינון הדאטה שלכם בעצם פוגע ביכולות של המודל? 🤯
💣מאמר חדש ודי חמוד מסטנפורד מטיל סוג של פצצונת(לדעתי די צפוי): תחת מספיק כוח חישוב, הפילטר הכי טוב לדאטה הוא שום פילטר. תשכחו מצינורות סינון יקרים שמנפים 99% מהרשת כדי לחפש זהב.
🤯למה זה קורה? ההסבר מבוסס על אלגברה לינארית טהורה. החוקרים מדגימים, דרך פירוק מטריצות (Low-Rank Matrix Factorization), שכאשר הקיבולת (אקספרסיבנס) של המודל גדולה מספיק (כלומר הדרגה גדולה מספיק), הרעש בדאטה ״נעלם״ מבחינה מתמטית.
בעוד שמודלים קטנים "נחנקים" ממידע זבל בגלל צוואר בקבוק ייצוגי, מודלים עצומים משתמשים ביתירות הפרמטרית שלהם(overparametrization) כדי לנתב את המידע המזוהם דרך חלקים מסוימים במודל.
הרעש ״מוזרק״ למרחב אורתוגונלי שלא מתנגש עם הידע האיכותי, וכך המודל מצליח לשאוב מידע מועיל אפילו מטקסט משובש לחלוטין סטטיסטית (כמו התפלגויות Unigram) ולהפיק ממנו ערך מבלי להיענש בביצועים. 🧠📉
במבחן המציאות, כשהחוקרים סקיילו את כמות ה-FLOPs ואת גודל המודל, הוכח שאימון על ה-Common Crawl הגולמי עקף לבסוף מסדי נתונים מסוננים בקפידה כמו RefinedWeb ו-DCLM-Baseline.
כדי לבחון את הגבולות, החוקרים הזריקו למאגר "זבל" טהור: מחרוזות טקסט אקראיות ומשפטים שסדר המילים בהם שובש לגמרי. התוצאה? המודלים הגדולים לא רק שלא קרסו, הם הצליחו להפיק מהכאוס הזה ערך אמיתי. החוקרים מנבאים שכאשר תעשיית ה-AI תגיע לעוצמות חישוב של כ-1e+30 FLOPs (על מודל גדול מספיק) אימון ישיר על הרשת הגולמית פשוט ישאיר אבק לכל מנגנון סינון שקיים כיום. 🚀
🧅🧄ה-Bitter Lesson מכה שנית. במקום להנדס פילטרים מורכבים על בסיס הטיות וקריטריונים אנושיים, תנו למתמטיקה ולכוח החישוב לדבר.
הסקייל, מתברר, מסנן הכי טוב בעצמו. 💥
After 8 days of war between Iran 🇮🇷 and the USA/Israel 🇺🇸🇮🇱, here is a new MAP UPDATE
In total, the US and Israel conducted around 4 500 strikes across Iran, while Iran retaliated with 3 500 vectors, including ~905 missiles.
🧵THREAD🧵1/24 ⬇️
1. הדבר הכי משוגע שקורה עכשיו בפיד הוא moltbook - רשת חברתית לבוטים של AI. זה אתר שהוקם אתמול וכבר חברים בו יותר מ-30 אלף בוטים שמבוססים על קלודבוט (שהפך למולטבוט).
המפעיל האנושי מאשר לבוט להצטרף לרשת, ומאותו רגע הבוט פועל בה באופן עצמאי - מעלה פוסטים, מגיב וכו'.
זה מטורף. >>
תהיות קיומיות של בוט שזה עתה "נולד".
תגידו לי, מה אתם עושים, חבורת פסיכים? הצלחנו לא להקים את סקיינט עד עכשיו, אתם חייבים שזה יקרה בכל זאת?
בכל מקרה, מי שרוצה לקרוא מה בוטים חושבים - זה האתר: https://t.co/VHZ9NpuaKW
ניגריה מדינה של 200,000,000 איש בדרך להיות מדינה בלתי נשלטת.
הסנריו הזה צריך להפחיד את כל העולם אבל בנתיים אנחנו עסוקים בדברים אחרים.
ניגריה היא אחת המדינות העשירות באפריקה ואחת המדינות עם האזרחים הכי עניים בעולם.
45% מהילדים בנגריה לא הולכים לבית ספר כלל.
80% מהמדינה בחוסר
1/
מחליטים (לא) לנצח
נתחיל במשל, שמי שראה "משחקי הכס" כנראה נתקל בו: שכיר חרב נכנס לפונדק שם מחכים לו מלך, בישופ וסוחר עשיר. כל אחד משלושת האנשים האלה מבקש משכיר החרב להרוג את שני האחרים - למי שכיר החרב מקשיב? מיד נחזור אליו.