We are getting too comfortable with “the agent escaped.”
An agent escaping is a failure in development, architecture, or guardrails.
And this will get worse. Reports of agents probing government websites show how even a routine research task can become an attempted government intrusion.
Agents need limits that are enforced in software. This means permissions they can’t rewrite and mandatory supervision that can stop unauthorized actions before execution.
This need is one of the reasons @DreamGroupAI is Proud to be working with @NVIDIA to help solve this problem and build the security layer autonomous agents need.
If we can’t control it, we shouldn’t deploy it.
Today, with over 100 industry partners, we introduced the NVIDIA Open Agent Safety Platform, bringing together OpenShell and Sentry.
Artificial intelligence is extraordinary technology that will advance discovery, productivity, security, health, and prosperity for generations to come.
But its full promise can only be realized when people have confidence that AI is being built to be safe and deployed with wisdom and responsibility.
This is bigger than a single product. It's the beginning of an open ecosystem to build the trust layer for safe agent systems.
Together, we are building the foundation of the AI economy.
Trust and innovation are not in conflict. Safety is how trust is earned. We must build not only the most capable AI, but the most trusted AI, so that this extraordinary technology can realize its enormous promise for the world. https://t.co/ugYWQ1MyRi
The best minds in the world today need to be focused on helping governments and critical infrastructure defy the wave of AI attackers that has only just started.
@dreamgroupai is standing up and doing just that.
Their AI agent and model just scored the highest score EVER benchmarked - 96.6% - on CyberGym, the most authoritative cyber-defense benchmark. And that doesn't even take into account the fact that it runs fully sovereign.
With reports on utility, energy and critical infrastructure attacks coming out every day, governments need to get the absolute best of breed solutions in their hands immediately. Dream is making it happen.
#1 in the world.
Dream just achieved the highest score ever recorded, 96.6% on CyberGym, UC Berkeley’s benchmark for autonomous AI vulnerability research.
I’m incredibly proud of this team.
We started @DreamGroupAI with the simple belief that in the age of AI, defenders must move faster than attackers.
Today is a strong proof point that we’re building exactly that, giving nations sovereign AI capabilities to defend themselves against the threats of the AI era.
And we’re just getting started.
.@sama is right, and the window is shorter than most people think. And a lot of damage can be caused to our societies.
Hospitals, water, power, transportation and defense networks are all exposed.
Sovereign defensive capability has to be built now, not after the first real incident.
This is why we started @DreamGroupAI over three years ago.
"The defense industrial base is one of 16 critical infrastructure sectors in the U.S., alongside other essential industries like energy, healthcare, and financial services. These sectors are integral to the functioning of our nation."
this is why we backed Dream led by @Shalevhulio , @sebastiankurz and something I hope the new @realDonaldTrump administration will focus on.
Link to full article in next tweet.
1/
מדוע אנחנו שוגים באופן בסיסי באופן שבו אנחנו מתייחסים לבריאות שלנו, ואיך אפשר לשנות את פני עולם הרפואה בעזרת בינה מלאכותית?
מתוך דברים שנשאתי באירוע ההשקה של
The Institute - Israel's AI Advancement Center באונ׳ בן-גוריון,
שהתקיים בשדה בוקר השבוע
>>
לא באמת הכרתי את נ׳. הוא צעיר ממני ביןתר מעשור, והוא הגיע לגדוד לפני קצת יותר מ-10 שנים, כשאני כבר נחשבתי לאחד הזקנים. הוא היה מהאנשים האלה שאם יעברו לידך ברחוב אתה תהנהן בחיוך דק לעברם והם לעברך, כי שניכם יודעים שאתם מהמילואים, אבל אתם לא מאותה קבוצת חבר׳ה, וזה ממש בסדר.
>>>
They raped minors and corpses and called it resistance.
They burned whole families alive and called it liberation.
They took you for a ride and you keep falling for it.
Be Long Israel. We Are.
At @aleph we have been investing a lot since October 7th
I am currently traveling in New York and everywhere I go people ask me whether we at Aleph have been investing during the war. The answer is an emphatic yes. We have completed 5 new investments since October 7th. But that is not all. In the last four months, we have raised over $150M into our portfolio companies from leading foreign venture capitalists.
On Day 30 of the war, we signed our investment in Dream. Led by Shalev Hulio and Sebastian Kurz, Dream provides national-level AI-based solutions for cyber protection against state level threats and has been delivering to customers in both Europe and Israel since October 7th. As I said then to The Wall Street Journal, “Even during wartime disruptions, many Israeli startups continue to deliver products and services, and hit their numbers. Israeli high tech is not only here to stay, but will grow better out of this.”
Of the four other investments, only one was announced. It’s a consumer fintech company called Sequencethat’s building a financial routing product and growing extremely quickly. We believe, as we always do when we invest, that the other three are just as magical.
Since the beginning of the war and even over the past year we have repeatedly said that any delta in total dollar amounts invested in Israel versus the USA has a lot more to do with mega investment rounds in AI-base models in Silicon Valley than it does with any political or geopolitical events. Israel does not yet have a group of “base model” companies and I am not sure it ever will. Unfortunately, the government’s lack of focus over the last few years on AI and insufficient investment in quantum computing is cause for concern, and a likely cause for the lower dollar investment.
However, we are seeing Israeli entrepreneurs tackling different parts of the AI stack, automating many big, long, paper or form-based processes with AI. The sort that often involves significant labor resources and, in some cases, adherence to regulatory guidelines. We believe Israel can lead here, and we are excited to tell you about some of those investments soon. Moreover, we believe there are real opportunities in the defense area. Israel is due to rebuild its defense tech industry in the area of AI and synthetic biology, and Israel-based companies could grow into global leaders in these fields.
I cannot speak for our colleagues at other venture funds. Future statistics will show whether other investors were on their back heels while the war was ongoing. The gloom and doom narrative does not match our lived experience. At Aleph we saw the resilience of Israeli entrepreneurs, the will to deliver and win that caused many companies to beat their numbers in Q4. We think this will turn out to have been one of the best periods to invest in Israeli innovation. We also see many soldiers coming back from the front with a burning desire to build something big and build a better country.
As suggested above, we were not alone. You will need to wait patiently but meaningful follow-on rounds were completed between November and January into our portfolio companies, all involving foreign investors. You will recall that a couple of cyber companies were acquired in Q4, another one was announced this week and rumors suggest that a few more acquisitions are coming.
What is the elevator pitch for investing in Israel for the next decade? Israelis are the most resilient, optimistic, responsible, battle-tested and innovative civilian population in the world. In an era where political leadership is waning, invest where creativity is already tested against the challenges of the future. Invest where multidisciplinary innovation will lead to exponential breakthroughs and profits. The horrific tragedy of October 7th created the greatest real-time hackathon in history, bringing together the best and brightest of many generations of Israeli innovators
Be prepared to see science fiction come to life.
For a link to the blog post with other links, see next tweet.
"The Jewish and Israeli response to tragedy is to rebuild."
Announcing @aleph investment in DREAM, signed on the Gaza border on the 30th day since the massacre.
Thrilled to partner with @Shalevhulio, @sebastiankurz, @DoviFrances1
Read @ychernova in @WSJ
https://t.co/uJxwWSsZFf
2. אם יש לי עצה אחת לחברות ויזמים שמגייסים הון זר שמשקיע לראשונה בישראל, ובטח מהמפרץ, היא לשמור על אינטגריטי, לבנות אמון, לא לצפות למה שלא הייתם מבקשים ממשקיעים אמריקאים מוסדיים, או מלקוחות מערביים. לתמחר נכון. יש הערכה רבה לאיכות, יש אפס סובלנות להתנהגות לכאלו ש״עושים סיבוב״.
סיפור שמסתובב קצת מתחת לרדאר, ובטח שלא בתחום פופולרי, אבל חשוב, מסקרן ובעיקר מעיד על צביעות:
1. ממשלת בריטניה מבקשת לשנות כמה סעיפים בחוק שקובע את סמכויות המעקב האלקטרוני של הממשלה הבריטית אחר אזרחים Investigatory Powers Act 2016 (IPA). בחינה קצרה של התיקונים וקריאה של חומרים המבקרים את הכוונה, מעידה על כוונה של הממשלה הבריטית להבטיח גישה לתוכנות המסג'ינג שיש לכולנו בטלפון הסלולרי - ורצון עז למנוע הגנה על אזרחים.
2. מבלי להכנס לכל סעיף ולכל פרט, השינויים שהממשלה הבריטית מבקשת להכניס לחוק, מחייבים חברות טכנולוגיה לחשוף מידע טכנולוגי על המערכות שלהן ולהודיע לממשלה הבריטית על שינויים טכנולוגיים שהחברות עושות כדי לשפר את האבטחה. כלומר, אם חברת מסג'ינג כלשהי מחליטה להגביר את האבטחה ולשמור על הפרטיות של המשתמשים - הבריטים רוצים לדעת. למה? שאלה טובה. כלומר, על פניו זה הגיוני (מאבק בטרור, פשע וכו'), אבל קצת צורם.
3. מה המשמעות של השינויים? למעשה, הבריטים יכולים לחסום את ה-End to end encryption, ובנוסף - למנוע תיקונים במערכות האבטחה של תוכנות המסג'ינג, כדי לאפשר לה להמשיך ולעקוב אחר המשתמשים. כלומר לחדור להם ל��לפונים. או במילים אחרות: אם וואטסאפ רוצים להבטיח שההתכתבויות שלהם מוגנות, אז הבריטים לא ממש מתלהבים מהרעיון הזה. הבריטים רוצים להיות בעמדה שאומרת לחברות אם לתקן פרצה או לא. והם רוצים לדרוש מהחברות האלה לעדכן את הממשלה הבריטית על כל שינוי.
4. הבריטים לא מסתפקים רק בשטח השיפוט החוקי שלהם, אלא רוצים לוודא כי החוק שלהם משפיע גם על חברות רב לאומיות עם מבנה בעלות ושליטה מורכב.
5. בואו נדבר על פגיעה בזכויות אדם: התיקונים שהבריטים רוצים להכניס לחוק, עשויים לפגוע בחוקים של זכויות אדם באירופה, דוגמת IHRL ו-ECHR (לא מפרט, כי מדובר בחוקים מורכבים להגנה על זכויות אדם באירופה)
6. כל זה - זה רק המבוא לסיפור המעניין האמיתי. אך לא מזמן העולם כולו רעש וגעש בגלל NSO, החברה הישראלית שפרצה את גבולות הטכנולוגיה, והביאה לעולם פריצות דרך חסרות תקדים במאבק נגד הפשע המאורגן, הטרור, מבריחי הסמים ומה ��א. בידיים נכונות - מדובר בטכנולוגיות חסרות תקדים. אבל האמריקנים עפו על NSO, הכניסו אותה לרשימה שחורה - וישראל בתגובה צמצמה את רשימת המדינות שאליהן ניתן לייצר את הטכנולוגיה של NSO ל-36 בערך. ארה"ב ואירופה. כל השאר -OUT.
7. בישראל פרחו חברות טכנולוגיה עם פריצות דרך מדהימות. היו משהו כמו 27 חברות, חוץ מ-NSO. רובן קרסו. נסגרו. האמריקנים חיסלו, למעשה, את תעשיית הסייבר ההתקפי בישראל. נשמע טוב? לא בטוח. תראו איך נראית משטרת ישראל מול האלימות במגזר הערבי. וזה יחמיר עם הזמן.
8. ואז תחשבו על הדרישות של הבריטים.
Today computer scientist @jonathandata1 has just released a white paper that demolishes the credibility of the @citizenlab report and that @munkschool@UofT should consider in their (much needed and delayed) investigation on #Catalangate study ... 353/
https://t.co/5Z5m7kzxkG