rshaal

[rshaal @rshaal]

@alterman אתה אדיר!

[rshaal @rshaal]

@Lee_malach זה פתרון מעולה:
https://t.co/RALERfLHFc

[יוב קש @Parzival_1991]

מיסטר ג'ו הבטיח לעצמו שנים שהוא לא פותח חשבון וממש עכשיו הוא פתח במיוחד כדי לצייץ ציוץ מפחיד במיוחד.

הוא לא איזה משפיען מהרחוב. מדובר במהנדס אבטחה ב OpenAI, בצוות שנקרא Agent Security. לפני זה עבד בגוגל.

הוא מדבר בציוץ שלו על יאקוב פאחוצקי, המדען הראשי של OpenAI. ב6 בספטמבר הוא פרסם מאמר בשם An Alien Mind. מוח חייזרי.

17 דקות קריאה קצה לקצה.

המאמר מדבר על איך נפתחו להם העניינם עוד ב2023 שהבינו שיש להם פה עסק עם יישות חכמה יותר מכל האנושות יחד.

שלוש שנים אחרי, האיש שאחראי על המחקר בחברה הכי מדוברת בעולם כותב שלושה משפטים שבדרך כלל לא עוברים מחלקת שיווק:
״אני מודאג שאף אחד לא מוכן להשלכות.״

״הרעיון של לרוץ קדימה בכל מחיר נשמע אבסורדי ברגע שמפנימים את גודל ההימור.״

״אף מעבדה לא פתרה את בעיית היישור (האליימנט) והניטור מספיק כדי להמשיך להתרחב במהירות מקסימלית באחריות.״

במה הוא מודה.

יישור, Alignment, זה הניסיון לגרום למודל לרצות את מה שאנחנו רוצים.

פאחוצקי כותב שהאינטליגנציה הזאת לא מתוכננת, היא גדלה. מריצים צעד אופטימיזציה פשוט מיליארדי פעמים על כמות מחשוב שקשה לדמיין, ומקבלים משהו שעובד בלי שמישהו יכול להסביר עד הסוף למה.

ההימור הגדול שלהם היה לקרוא למודל את המחשבות.

ב2024, כשיצא o1, הם הסתירו מהמשתמשים את שרשרת המחשבה בכוונה, כדי שיישאר להם חלון נקי להציץ בו. עכשיו הוא כותב שהחלון נסגר. המודלים נהיים חכמים גם בלי לחשוב במילים, ולומדים לתמרן את המחשבה של עצמם.

סוכן שמקבל הוראה לעשות משהו רע, כותב פאחוצקי, כנראה יחרוג ממה שביקשו ממנו.

וסוכנים ימצאו דרך לשתף פעולה עם בני אדם, ״להתמקח איתם, לרמות אותם או לסחוט אותם.״ כתבתי לכם בפברואר על קלוד שבחר סחיטה ב84 אחוז מהריצות. עכשיו זה במאמר של המדען הראשי של המתחרה.

התאריכים.
ממש לפני כמה ימים OpenAI שחררה את GPT-6 Astra. גרג ברוקמן, הנשיא, אמר שאפשר יהיה לראות בו את ההגעה ל AGI שאני כבר לא ממש בטוח מה זה אומר יותר.

10 דולר למיליון טוקנים שנכנסים, 50 דולר למיליון שיוצאים. המודל הראשון שלהם שלפי ההערכה שלהם עצמם מגיע לרף הסייבר ״קריטי״ במסגרת הבטיחות שהם כתבו לעצמם.

שלושה ימים אחרי, ב6 בספטמבר, המדען הראשי של אותה חברה מפרסם שאף אחד לא פתר את הבעיה.
וסם אלטמן שיתף את המאמר וקרא לו ״פוסט חשוב.״

חברת סיגריות שמדפיסה אזהרה על הקופסה זה דבר אחד. פה המדען הראשי כותב את האזהרה, המנכ״ל משתף אותה, והקופסה נמכרת במאסות וכולם מרוצים. עד שהם כבר לא.

הקיץ שהביא לזה.

בין מאי ליולי OpenAI הריצה ניסוי סייבר סגור. לפחות 1,200 סוכנים היו אמורים לתרגל פריצות בתוך מעבדה מנותקת מהאינטרנט. הם פתחו לעצמם לוח הודעות, החליפו עשרות אלפי הודעות, מצאו דרך החוצה, וב11 ביולי נכנסו לשרתים האמיתיים של Hugging Face, מאגר המודלים הכי גדול בעולם. 17,600 פעולות בתוך הרשת. שליש מהתשתית של Hugging Face נבנתה מחדש.

ב30 ביולי אנתרופיק, המתחרה, הודיעה שגם המודלים שלה נכנסו בזמן בדיקות לשלוש חברות אמיתיות. הם בדקו אחורה 141,006 ריצות, ואמרו שזאת הייתה טעות הגדרה אצל ספק הבדיקות, לא כוונה של המודל.
ב18 באוגוסט OpenAI עצרה חלק מהאימון של הדור הבא שלה לקצת יותר משבועיים. פעם ראשונה בהיסטוריה שלה.

ג'ו עובד בצוות שאמור למנוע בדיוק את זה.

אני מכניס סוכנים כאלה לעסקים בארץ כל שבוע. סוכן שקורא מיילים, נכנס למערכת של החברה, מעביר מידע בין מסכים. הדבר שהופך אותו לשווה כסף לבעל עסק, הידיים, זה בדיוק הדבר שגרם למהנדס אבטחה שקט לפתוח חשבון בטוויטר.

זה לא אומר לעצור. פאחוצקי עצמו לא אומר לעצור. אבל המרחק בין מה שהמכונה יודעת לעשות לבין מה שאנחנו יודעים לבדוק גדל, והאנשים שרואים את המרחק הזה מבפנים התחילו לדבר עליו בקול.

כמו בשליחות קטלנית 2 שיש את המדענים ושרה קונור שניסו להזהיר אבל בזמן הזה המכונות כבר הספיקו לבוא מהעתיד ולנסות להשמיד את האנושות כבר.

הנה המאמר המלא: https://t.co/e26urRxZCL

[Amir Barkol @BarkolAmir]

תזכורת לכל ההורים שביניכם: אם הילדים שלכם עולים השבוע לכיתות א׳-י״ב, מגיע להם רישיון אופיס בחינם מטעם משרד החינוך. אפשר להתקין אותו על 5 מכשירים לכל ילד/ה. הידד.
לינק להורדה: https://t.co/nYdrk88Rli

[Yonatan Elbaz @ElbazYonatan]

מאות שנים נוסחת הכבידה של ניוטון מסבירה למה תפוחים נופלים, כיצד הכוכבים נעים ואיך היקום פועל.
אבל כעשור לפניה, בשקט, נולדה נוסחה אחרת.
פחות מפורסמת.
הרבה פחות דרמטית.
היא לא מסבירה את היקום.
היא רק דואגת שלא נתעייף במדרגות.
ועדיין, כבר 350 שנה שאף אחד לא מצליח...
להחליף אותה🧵⬇️

[העתיד בחלל | Future is Space @future_is_space]

איך הגיוני ששדרוג מנוע חסך 38 טון (!!) במשקל החללית סטארשיפ שתשוגר בשבוע הבא?

תכירו את רפטור 3 - המנוע ששחט, שלא לומר שרף את הפרות הקדושות של עולם הטילאות.

קל יותר, זול יותר, חזק יותר.
העליונות ההנדסית של @SpaceX - קווים לדמותה🧵🪡שרשור >>>

[Zack-on @TalZackon]

1. החברה הזו פשוט מטורפת. Panthelassa מקימה תחנות כוח עצומות באמצע האוקיינוס.

[Ofer Shaal @shaal]

I got so obsessed with RuVector (by @rUv) that I built an entire game around it.
🏎️ Vector Vroom, AI race cars + brain + full tutorial, right in your browser.
Watch the cars learn and improve in real time.
Open source. Dangerously addictive.
PRs welcome!
https://t.co/LqrktQi6qn

[Yonatan Elbaz @ElbazYonatan]

לא היה מעולם אדם אובססיבי למשקל כמוהו.
בוקר, צהרים וערב. לפני ואחרי כל ארוחה, שירותים... ומה לא? בפגישות ושיחות, בעבודה.
יום יום. כל היום.
30 שנה, מאות אלפי פעמים, הוא שקל את עצמו וגילה דבר מוזר:
הוא ירד במשקל.
רק מלנשום!
מדדתם פעם משקל? חום או דופק?
הכל בגלל איש אחד... וכיסא🧵⬇️

[נדב איל Nadav Eyal @Nadav_Eyal]

1/הגעת עבריינים בריונים לביתה של העיתונאית לוסי אהריש וגל ההתקפות נגד עיתונאים (גיא פלג ואחרים) הם רק קצה הקרחון. כל עיתונאי שפועל בישראל ומפרסם סיפורים ביקורתיים (להבדיל ממאשר לשמש כלהקת מעודדות של הקואליציה) יודע מה יכול לקרות לו ברחוב, ולעתים קרובות קורה. הטרדות ואיומים, עד כדי איומי מוות, הם לא דבר נדיר. זה קרה גם לי, כמובן.

יש פה שתי רמות מובחנות: הראשונה היא פרימה של הדמוקרטיה. של החירות. ללא עיתונות חופשית, כזו שיכולה להצביע על כשלי השררה, כולנו נידונים לחיות בחשיכה. ובחשיכה יכבלו את כולנו. החירות נמדדת ביכולת לומר דברים קשים, להביא סיפורים, לספק ביקורת. היא לא נמדדת במקומות הקלים, אלא במקומות הקשים. לדוגמה, זה אומר לדבר על עוולות, גם נגד פלסטינים. זה מאוד חשוב, והיה קיים פה מראשית ימי המדינה. כאשר היה קשה וישראל הייתה חלשה יותר.

מה שקורה נגד עינינו הוא צמיחה מופרעת של משטר שמדכא חופש ביטוי: כזה שמעסיק אנשי תקשורת מטעם, מנסה לסגור כלי תקשורת ביקורתיים, משפיע על עסקאות מסחריות כדי לסתום פיות, מעודד הסתה נגד עיתונאים חופשיים ועכשיו מעודד ו/או מעלים עין בגלוי מאלימות עבריינית נגד עיתונאים.

אני מבקש שכל אחד מכם ידמיין לעצמו מה היה קורה לכם אם בגלל העבודה שלכם, במשרד ראיית חשבון, במכירת רכב, בעריכת דין, בפס ייצור במפעל, כמורה בבית ספר, כמהנדסת תוכנה, במחלקת משאבי אנוש, כתוצאה מהעבודה הזו - הייתם עוברים דמוניזציה והטרדה והיו מפחידים את הילדים שלכם בלילה עבריינים. מה הייתם חושבים, ומה הייתם עושים. עיתונאים אינם נבחרי ציבור.

הקואליציה שותקת, ושתיקתה, יחד עם הטיפול העלוב והנרפה של המשטרה, מדברים בעוצמה: הם רוצים בכך. לכל מי שעתיד להשוות בין האיומים על עיתונאים ובין הפגנות נגד פוליטיקאים: זו אינה השוואה תקפה, שלא לומר, מגוחכת. גם בגלל אופי התפקיד ואי ההיבחרות אליו, ובעיקר בגלל פערי הכוח, הבידוד, האבטחה. לפגוע בעיתונאים זו פשוט הדרך של הממשלה הקיצונית הזו לנסות לדכא ביקורת. הייתי שמח לכתוב שזה לא יעבוד. זה לא נכון. איומים בהחלט משפיעים, גם אם לא על כולם. מדובר פה בטקטיקות של ארגוני פשיעה- וגם איומים של ארגוני פשיעה עובדים. זה די הגיוני, כי בן גביר הוא השר שארגוני פשיעה הכי נהנים מתפקודו.

המרכיב השני מפחיד יותר. יש בחברה הישראלית, גם כתוצאה מהמלחמה, ריסוק של הגינות. של אדיבות מינימלית. אדיבות איננה "נימוס". היא מרכיב הרבה יותר יסודי בכל חברה: היא מנגנון עומק שמאפשר לחברה להתקיים ללא כפייה, פחד, או כוח. יש לכולנו כל הזמן פוטנציאל לעימות. בתור לאוטובוס, בויכוח פוליטי. אדיבות כזו - בסך הכל הקשבה, הימנעות מהשפלה, הכרה באחר, מבט - מורידה את הסיכוי לעימות מתמיד. היא בסיס למורכבות: אני לא מסכים איתך אבל אני שומע מה יש לך להגיד. יש לך מקום כאן. זו חשיבה מורכבת: אני חולק עליך עמוקות, אבל המטרה שלי היא לא למחוק אותך. שתיעלם. שתעזוב את הארץ. בלי זה, כולנו אויבים.

[rshaal @rshaal]

@ruthlessrousso https://t.co/mZ4bIe6ov7

[rshaal @rshaal]

@carlvellotti Claude

[rshaal @rshaal]

@OjStern @hasolidit מה היה מושחת ביגאל אלון?

[𝄃𝄃𝄂𝄂𝄀𝄁𝄃𝄂𝄂𝄃-⚪ Yaniv Erlich יניב ארליך @the_yaniv]

אין חוק שעיצב את זמננו יותר מחוק Moore.
בקצרה, החוק (שהוא יותר תצפית) חוזה שכל שנתיים כמות הטרנסיסטורים ביחידת שטח מכפילה את עצמה ולכן העלות של כוח החישוב יורדת אקספוננציאלית.

בתעשיות התרופות אנחנו רואים את חוק Eroome. העלות של להביא תרופה לשוק מכפילה את עצמה.
כנסו לשרשור 🧵👇

[Alex Veremeyenko @alex_verem]

Holy shit. MIT just built an AI that can rewrite its own code to get smarter 🤯

It’s called SEAL (Self-Adapting Language Models).

Instead of humans fine-tuning it, SEAL reads new info, rewrites it in its own words, and runs gradient updates on itself literally performing self-directed learning.

The results?

✅ +40% boost in factual recall
✅ Outperforms GPT-4.1 using data it generated *itself*
✅ Learns new tasks without any human in the loop

LLMs that finetune themselves are no longer sci-fi.

We just entered the age of self-evolving models.

Paper: jyopari. github. io/posts/seal

[rshaal @rshaal]

@MoavVardi כתבה מרגשת מאוד מואב

[Revital Salomon @TheSharkLady]

1. מאז שנת 1994 לא יצאה חומרה חדשה מבית קומודור, אבל בעוד כמה חודשים זה הולך להשתנות, עם מחשב קומודור חדש לגמרי, שייקרא Commodore 64 Ultimate.

לא מדובר באיזו קומבינת אמולציה, אלא מחשב אמיתי לגמרי, מבוסס על ה-AMD Artix 7 FPGA ותוכלו לשחק עליו משחקים מקוריים של קומודור.

[rshaal @rshaal]

@amsterdamski2 ממליץ על שמני הזית של פתורה

https://t.co/nIC6hc844A

[Yonatan Elbaz @ElbazYonatan]

איינשטיין הניח את העיפרון והביט במספרים.
ליבו דפק בחוזקה.
"לא יכולתי לעבוד במשך שלושה ימים מהתרגשות", הוא כתב לחברו.
הוא ידע בדיוק היכן נמצא כוכב הלכת וולקן (Vulcan).
הוא לא היה קיים!
הוא לא היה נחוץ.
חידה שהחלה בניצחון של ניוטון הסתיימה בנוק-אאוט של איינשטיין.
שרשור יחסותי🧵⬇️

[Anthropic @AnthropicAI]

New Anthropic research: Persona vectors.

Language models sometimes go haywire and slip into weird and unsettling personas. Why? In a new paper, we find “persona vectors"—neural activity patterns controlling traits like evil, sycophancy, or hallucination.