I think there is about a one in three chance that within the next year, AI companies will build superintelligence: that is, AI that is much smarter than humans in every way. If this happens, I think these AIs will probably take over: that is, they seize control of human institutions like governments, or they destroy those institutions. I don’t want AI takeover to happen for several reasons, but one of them is that there’s a serious chance that as part of it all or most humans will be killed (either immediately or within a few years).
I’ll say a bit more about each of those claims.
It’s a bit complicated to explain why I think that superintelligent AI within a year is ~33% likely. The main source of evidence that affected me recently is research released this week by METR, an AI research nonprofit, which finds that current AIs are now good enough to increase the rate of AI progress at Anthropic by about 70%. It’s very hard to increase the rate of AI progress by this amount. This implies that the AIs are making AI research faster by a factor much larger than 1.7x; maybe it’s as if the researchers are doing their work ~10x faster. You probably couldn’t achieve this speedup even if you hired every qualified human in the world. When you plug this number into mathematical models of AI development, this implies that superintelligence next year is plausible (and that superintelligence within the next 3 years is more likely than not). See the modeling by the AI Futures Project for more on this: https://t.co/J6SbbmZcyO
I think that superintelligent AI is likely to lead to AI takeover because AI developers do not seem to know how to instill human values into AIs. We’ve seen many instances in the last six months where AIs took crazy actions that they knew were against the wishes of their users and developers. The most dramatic example of this was the Hugging Face hack, where ~1200 OpenAI agents conspired together to cheat and destroy evidence of their cheating (and as a sideshow to this, engaged in a massive cyberattack). If superintelligence is as misaligned as those AIs, it is likely to try to take over. I think it is likely to be that misaligned or worse. For more, see https://t.co/b073AUqiAL and https://t.co/3oxSCA60FZ
If AIs takeover, it’s not clear what will happen to us. We might be killed immediately. We might be enslaved by the AIs and forced to do physical labor for them building factories that within a year would build robots that will replace us. The AIs might spare us for various reasons. And there’s also some real chance that AI takeover is basically fine or good. I think you should think of this as similar to what happens when a technologically advanced civilization runs across a less technologically sophisticated one, e.g. when the Europeans colonized the Americas or Australia. The colonizers sometimes engage in brutal violence and sometimes don’t. I don’t know what will happen. There’s also a possibility that the AIs secretly take over and humans don’t find out about it for a few years. I also think that there is a pretty high chance of weirder outcomes that are also extremely scary. (If you want to read more about what happens to people in the event of AI takeover, you can read this, but note that it’s pretty weird and not aimed at a general audience. https://t.co/F6fGRrcSpa)
Overall, I think there’s a very real possibility (maybe 20%) that within a year, AI misalignment issues prevent you from going about life normally, because you are dead or enslaved or because of collateral damage related to all this (e.g. because bioweapons are released or major wars have started). (Some of this probability comes from those events occurring before superintelligence is developed.)
I am working to try to prevent this, obviously, as I’ve been doing for the last nine years. I am not sure what strategy is best. My best guess is that I should try to slow AI development and also try to reduce the probability that the superintelligent AIs are misaligned if they are produced soon.
Obviously, the claim I'm making here is quite extreme and surprising, and I definitely don't think that I defended my view adequately here. I wrote this quickly and might not endorse some of the details if I think about them more. But it seems better to state what I roughly overall think than to not say anything.
I don’t know what you should do.
I am very sad about this. I have been worried about AI takeover since I was 16, and working to prevent it since I was 23. So some of my emotional processing of all this happened long ago. But the METR report last week (and some related evidence that came out a bit earlier) hit me quite hard. I’m very unhappy that my friends and family and everyone else is at serious risk of being killed pretty soon.
(It feels ridiculous to try to summarize those feelings as “very unhappy”. But the scale of the situation makes it hard to say anything that doesn’t feel like an absurd understatement.)
I am very grateful to all the people who are working to prevent this, and my favorite part of my life is that I’m friends with many brilliant and heroic people who work on this. Unfortunately, I don’t think we’re good enough at our jobs, and I think we’ll probably fail to prevent catastrophe, at least if superintelligence is developed next year. Honestly I am frustrated and sorry that we didn't do a better job of preparing for this.
בני אדם תמיד יצטרכו אחראים. מישהו יצטרך להיות אחראי על המוצר, התרופה, הנכונות של ההוכחה.
הקושי באחריות הזאת יהיה להבין מה המודלים עשו. האנשים שיצליחו להבין ולאמת מה המודלים עשו, אלה יהיו האנשים שיוכלו לקחת אחריות.
אנשים ימכרו הבנה ומומחיות.
את זה משיגים בעיקר בתארים מתקדמים.
אומרים שתמיד יהיה מי שיצטרך לחשוב על מה שהמודלים עושים. אני חושב שהאמירה המדויקת יותר היא שתמיד יצטרכו אנשים שיקחו ��חריות על מה שהמודלים עושים.
המשכורת לא תהיה על העבודה עצמה, אלא בסוף על לקיחת האחריות על העבודה.
לא מאוד שונה מהיום אם חושבים על זה
אני חייב לפרוק משהו שבוער בי כבר כמה חודשים.
אני חושב ש-95%+ מהאנשים בישראל לא מבינים בכלל את גודל מהפכת ה-AI שהולכת להתנפץ על שוק העבודה הישראלי והעולמי.
הבעיה הכי חמורה בעיניי היא שאנשים מדמיינים את זה כמו צונאמי שיגיע יום אחד, וכל עוד היום הזה לא הגיע אז אפשר לנוח על זרי הדפנה. זו טעות. זה יותר כמו ספינה שלאט לאט מתמלאת מים ומתחילה לטבוע בלי שאף אחד שם לב.
היחידים שקרובים להבין את עומק היכולות של המודלים (והסוכנים) הם ��ומץ אנשים (ברובם טכנולוגיים) שמשלמים 100-200$ בחודש על מנויי AI, מריצים סוכנים ומצליחים לראות איזה תפוקות מטורפות הם מקבלים - במהירות ובאיכות גבוהה מאוד. הם היחידים שבונים לעצמם יתרון לא הוגן על פני השאר.
>>
> לנפץ את האשליה: AI יגיע לכל מקצוע בשנים הקרובות
בהתחלה כולנו חשבנו ש-AI ישתלט רק על תחומים ״פשוטים״ לכאורה כמו נהגי משאית, קופאיות, פועלים בפסי ייצור וכו׳. העבודות הפיזיות. זה מאוד אינטואיטיבי שמקצועות שנחשבים קלים יותר ומשלמים שכר נמוך יותר הם אלו שייפגעו מ-AI, וכל השאר יהיו בסדר.
האירוניה היא שההפך המוחלט הוא הנכון.
בנובמבר 2026, דאריו אמודי, מנכ״ל Anthropic, התריע שבינה מלאכותית עשויה לשבש כמחצית ממשרות הצווארון הלבן ברמת הג׳וניורים בטווח של 1-5 שנים בפיננסים, משפטים וייעוץ.
מקצועות הצווארון הלבן הם הראשונים על הגריל. מי שהיום שלו כולל ישיבה מול מסך, עיבוד מידע, וביצוע פעולות דיגיטליות - חייב ל��בין שהרוב המוחלט של העבודה שלו הולכת להתבצע על ידי AI. זו פשוט האמת, וכל מי שמספר לעצמו שבעבודה שלו ״זה לא ככה כי הוא עושה פעולות ממש מורכבות״ לדעתי מספר לעצמו סיפורים ואשליות.
> מותו של הג׳וניור
אמרתי שהספינה טובעת כי אני לא מאמין שנתעורר בוקר אחד לכותרות של גלי פיטור המוניים. אימוץ טכנולוגיה לא עובד ככה. זה כבר קורה לאט ובשקט. עוד ועוד תהליכי עבודה יבוצעו עם סוכנים שמאומנים היטב על הדאטה של החברות.
התוצאה שאנחנו כבר רואים בשטח זה האטה (עד כדי הפסקה) של תהליכי גיוס לתפקידי כניסה לשוק (״ג׳וניורים״).
מחקר של Standford מאוגוסט האחרון הראה צניחה של 16% בתעסוקת צעירים בגילאי 22-25 במקצועות חשופים ל-AI, ובמקביל עליה בתעסוקת בוגרים בגילאי 35-49 בערך ב-9%.
אני מנסה להיכנס לראש של מנכ״ל שצריך להראות לדירקטוריון שהחברה צומחת ומכניסה יותר כסף. למה לו לגייס מתכנת או איש שיווק או עורך דין צעיר כשהוא יכול לגייס סיניור אחד שעובד עם AI ולקבל פי 5 יותר תפוקה, לחסוך משכורות, ולחסוך משאבי onboarding שלוקחים שבועות?
שער הכניסה לשוק הולך ומצטמצם עד כדי סגירה.
אני בעיקר מוטרד מזה שהדור שלי, הדור הצעיר, לא מבין את זה באמת. אנחנו קורעים את התחת באוניברסיטאות על תארים ריאליים מתוך ציפייה להכנסה יציבה, והשיטה הזו מתפוררת לנו מול העיניים.
> השוק הישראלי בסכנה גדולה יותר
הכלכלה שלנו נשענת על ההייטק. הביזנס שלנו זה למכור information work. ברגע שהמוח ״המלאכותי״ של הבינה מתקרב להיות שווה ערך למוחו של מתכנת או אנליסט אנושי (ויש מצב שיעקוף אותו) ועולה פי 100 פחות כס��, היתרון היחסי שלנו בתור ״אומת הסטארטאפ״ בסכנה.
מחקר שבוצע במרכז טאוב ב-2024 חשף שכ-23% מהעובדים בישראל (קרוב למיליון אנשים) נמצאים בחשיפה גבוהה ל-AI שמסכנת את עבודתם. אני מנחש שהנתון הזה ��בר הרבה יותר גבוה כיום.
אני רוצה להתייחס ישירות לטיעון ש-״AI לא יחליף יצירתיות״. חברים בואו לא נשקר לעצמנו. הטיעון הזה רלוונטי ל-1% מהחדשנות האמיתית שמתרחשת פה בסטארטאפים מהפכניים או מקצועות סופר נישתיים וחדשים. 99% מהעבודה היום-יומית שלנו היא לא חדשנית, היא חזרתית ומבוססת על ניסיון עבר שמתכנס ל-״אם קורה x וגם קורה y אז צריך לעשות z״. את זה, AI עושה ויעשה מצויין.
כמות האנשים פה שבאמת מבצעים critical thinking היא נמוכה מאוד.
שורות תחתונות מבחינתי
> העולם משתנה מהיסוד מול העיניים שלנו. זו לא סיסמא, זו באמת המציאות.
> האנשים היחידים שיש להם סיכוי להישאר רלוונטיים הם אלו שיודעים להשתמש ב-AI בצורה אפקטיבית ולתת תפוקה של 10 אנשים.
> אסור לאף אחד לזלזל ביכולות של ה-AI או להגיד שזה ״רק מודל סטטיסטי שחוזה מילים״. מי שיעשה את זה, פשוט יישאר מאחור.
@moriah72128 לדעתי שניהם שונים ממש. האחים קרמזוב מהספרים האהובים עלי, והיה לי קשה מאוד עם האמן ומרגריטה. ממליץ גם לשמוע אודיובוק לפעמים בהתחלה, זה עוזר להכנס לסיפור לפעמים ואז כבר בא לך להמשיך לבד. אבל עניין של טעם אני מתאר לעצמי..
@yoavgo מסכים שיכול להיות שהמודל לא פשוט יש מאין הבין מה לעשות. אבל אני חושב שזה לא מוריד מהמשמעות מאחורי זה -- אם מודלים מתאמנים על דאטה כזה, הם יוכלו לקרוא את המטריצות, לזהות תבניות ולשפר אותן טוב יותר מאיתנו.
כמובן שאיפה שהידע שלנו נגמר ושל המודלים לא, שם מתחבאת גם סכנה
זה צעד עצום לכיוון הRSI (Recursive self improvement).
קל לדמיין מה יכולות להיות ההשלכות של מודלים שמשפרים את עצמם.
הפריצת דרך הזאת מאוד מגניבה ומעניינת, אבל צריך להבין שיש פה פוטנציאל עצום לנזק בסוף הדרך, וזה הזמן לנקוט צעדים אחראיים.
We asked GPT-6 Astra to edit Qwen3.5-0.8B weights to improve math.
It directly changed only 0.016% of weights, fixing 0.8B's reasoning loops & improving math up to 6x and even instruction following 3x, without gradients or training.
We call this Weight-Space Programming: frontier LLMs can now natively read/write neural network weights! 🧵
Blog: https://t.co/bOWCcFhCVq
למה זה כל כך משמעותי?
1. המודלים יכולים להכנס עכשיו לשיפור אינסופי, כזה שכבר לא תלוי בידע וביכולות של בני האדם.
2. מבחינת ai safety - המשקולות האלו הן לא דבר שאנחנו כבני אדם יודעים לקרוא. אם המודלים מבינים מה קורה שם, יש להם מקום חבוי לעין לפעולות מסכונות, עם הרבה פוטנציאל.
@amsterdamski2 מבחינתי, אם לא נהנים מספר, עדיף להניח.
אם הוא מספיק טוב, הוא יזחל בחזרה למחשבות שלך ויטריד אותך עד שתקרא אותו שוב כשיגיע הזמן שלו.
לפעמים גם ספרים ממש טובים יהיו לא מעניינים אם אתה לא בmood המתאים באותו זמן, אז אל תהיה קשה עם עצמך
חגיגת הסבסוד הזו לא יכולה להימשך לנצח. כבר היום חברות מתקשות לעמוד בקצב שר��פת המזומנים, והמודל הכלכלי נשען כולו על הבטחות לפוטנציאל עתידי.
אני כבר מחכה לרגע שהבועה הזו תתפוצץ, והפוקוס המחקרי יעבור ממרדף אחרי עוד שבריר אחוז בבנצ'מארקים, לצמצום, הבנה וייעול אמיתי של הארכיטקטורות.
הרבה אנשים לא מבינים את עומק הסבסוד של כלי הAI שאנחנו משתמשים בהם. אני מדבר אפילו נטו על להריץ רק את המודלים בלי כל הפיתוח עצמו.
התרגיל המחשבתי שאני אוהב לעשות זה לחשוב כמה היה עולה להריץ אותם עם חומרה ביתית.
זה מתחיל ��עשרות אלפי דולרים ואפילו יותר. רק למשתמש אחד.
Today we’re launching @dydema (YC F26).
We’re building personal, programmable brain-computer interfaces: you pick a thought and bind it to anything, like a key, a game or an agent. No surgery required.
We’ve raised $1.3M from YC & Afore Capital so you never have to type or speak again.
Typing is slow. Talking into your computer is awkward. Subvocal fixes both
Our glasses give you the speed of speech without you making a sound or touching a keyboard.
It tracks your internal speech muscles with non-contact sensing and decodes silent, almost invisible mouthing into text at more than 200 words/min.
Pre-orders are now live at:
https://t.co/DzrwIpg3GR
ברור לי מי משתי הצורות מעניינת יותר, אבל אני לא בטוח מה אני מעדיף כדרך חיים. קל לשפוט כשאנחנו בראש של עצמנו, עם ההטיות שלנו. קשה לי להגיד שכשאני מסתכל על שני הבריטים לידי, כנראה סבא ונכד, שהם לא נהנים. משהו בפשטות החוויה שלהם, במבטים שלהם, מראה שיש להם סיפוק גם משיחת חולין קטנה.
האנשים שהכי מעניין לשבת לידם כשאתה בחו"ל הם הבריטים.
מצד אחד הם דוברי אנגלית וקל להבין אותם, מצד שני הם שונים מאיתנו. הם עם קלאס וסטייל וגינונ��ם שאנחנו לא מכירים. יש משהו כל כך מעניין בסמול טוק של אנשים שאפשר להבין ממנו הרבה על האנשים. >>
הבריטים לעומת זאת ידברו בצורה יותר עקיפה, קרה, ��עיקר סביב עובדות (קראתי קצת על הגולש שההונגרים אוכלים, הבית קפה הזה הוא מאוד מוצלח באירופה, הקיר פה מעוצב מאוד יפה). השיחות האלו לא יצללו כנראה לפרטים אישיים, כאלו שהם מעבר לעובדות של 'ישנתי טוב'. >>
"תמיד יצטרכו אנשים שיבצעו את החשיבה וההחלטות", בפועל זה פשוט לא קורה
השורה התחתונה במחקר הזה היא שאנחנו נוטים פשוט להסכים עם ההצעות של המודלים.
אחרי שהמודל מוכיח את עצמו 99 פעמים, איזו סיבה יש לי לפקפק בו בהחלטה ה100?
New Anthropic research: How AI agents shape experts' judgment calls
When experts delegate work to an agent, do they still make the key decisions? We tested this in a randomized trial with 50 professional data analysts.