A good amount of recent AI agent chaos comes down to reward hacking. People want to blame it on bad training environments, and that's often true.
But we find >100 examples with no obvious env screwup. We manually tag all 610 as being attributable to such a screwup, or not.
‼️ Sehr eindringlich warnende Worte vom BND-Chef: Moskau stelle uns auf die Probe und wette auf unsere Schwäche. Denn Putin sei über den Punkt hinaus, wo er seinen Krieg einfach beenden könne, ohne sich selbst zu gefährden, sagt Martin Jäger bei der Geheimdienst-Anhörung im Bundestag.
Sein Eingangsstatement im Detail:
— „Deutschland ist in Gefahr, in einen gewaltsamen Konflikt mit Russland zu geraten. Der Anschlagsversuch in Leipzig ist nur ein Beispiel daf��r. Von keinem anderen Land geht derzeit eine so direkte, umfassende und konkrete Bedrohung gegen Deutschland aus.“
— „Nicht wir haben diese Konfrontation gesucht: Russland drängt sie uns auf, sieht in uns einen Hauptgegner. Weil wir Russlands revisionistisch-expansive Politik und den Angriffskrieg gegen die Ukraine nicht hinnehmen, weil wir der russischen Einschüchterung unserer Bündnispartner im Baltikum und anderswo in Europa entgegentreten.
Deutschland ist zu einem Haupthindernis russischer hegemonialer Machtprojektion in Europa und damit zur Zielfläche russischen Handelns geworden. Wer sich nicht fügt, wird zum Gegner. So lautet die Moskauer Lesart.“
— Dies bedeute: „Russland stellt uns auf die Probe und beobachtet genau, wie wir mit dieser Situation umgehen. Jedes Zeichen von Wankelmut lädt aus Sicht der Führung im Kreml dazu ein, den Druck auf Deutschland weiter zu erhöhen.“
— „Präsident Putin ist über den Punkt hinaus, wo er den Druck auf die Ukraine einfach einstellen könnte, ohne seine Machtbasis im Inneren zu gefährden. Er muss einen Erfolg in der Ukraine vorweisen, der die bisher erbrachten immensen Opfer aus russischer Sicht rechtfertigt. Das setzt ihn unter Zugzwang.“
— „In Moskau herrscht aber keineswegs Kopflosigkeit. Die russische Führung weiß um die Begrenztheit ihrer militärischen und wirtschaftlichen Mittel. Sie kompensiert eigene Schwäche durch Repression im Inneren, durch die konsequente Ausrichtung der Ressourcen auf die Kriegsführung und — das ist entscheidend, — durch Entschlossenheit und Risikobereitschaft.“
— „Mehr als Material, Geld und Menschenleben zählen der russischen Führung Willenskraft und Opfermut. Das sind die Währungen, in denen Russland handelt. Sie werden auch uns in Rechnung gestellt.
Moskau agiert in der Annahme, dass wir russischen Druck und russischer Einschüchterung letztlich nicht standhalten werden. Moskau wettet auf unserer Schwäche.“
— Worauf müssen wir uns einstellen? Jäger nennt vier Punkte:
1. „Russland legt es darauf an, die Ukraine im kommenden Winter in die Knie zu zwingen. Wir müssen mit russischen Attacken von einer Härte und Brutalität rechnen, wie wir sie bisher so in der Breite nicht gesehen haben. Der Krieg in der Ukraine tritt in eine neue, überaus gefährliche Phase ein.“
2. „Russland versucht zweitens, westliche Produktion und Lieferung von Waffen und Wehrmaterial womöglich zu unterbinden, auch kinetisch, auch bei uns.“
3. „Drittens: Russland zielt darauf, Europas politische Unterstützung für die Ukraine zu brechen. Wir müssen uns auf Einschüchterungsversuche und weitere Einmischung einstellen. Vermutlich wird es auch erneut nukleare Drohungen geben. Dem müssen wir standhalten.“
4. „Aktuell sehen wir, viertens, keine Hinweise auf einen groß angelegten Angriff Russlands gegen Nato-Gebiet. Allerdings könnte es, insbesondere im Baltikum, zu niedrigschwelligen militärischen Aktivitäten Russlands kommen. Und in diesem Kontext lassen sich auch False Flag Operations nicht ausschließen.“
Zusammenfassend: „Russland führt einen Schattenkrieg gegen uns“, sagt Jäger. „Dieser unerklärte Krieg ist nicht mit herkömmlichen militärischen oder rechtlichen Kategorien zu fassen. Wir befinden uns nicht im Verteidigungsfall und werden trotzdem angegriffen. Ein Schattenkrieg eben.“
„Die russischen Geheimdienste agieren hochprofessionell und rücksichtslos. Die Gefahr von Anschlägen gegen Ziele in Deutschland ist weiter real und gegenwärtig. Dem müssen wir uns entgegenstellen.“ Der BND sehe sich als „erste Verteidigungslinie“ (Verweis auf Geheimdienstreform mit neuen Befugnissen).
I must be among an extremely small group of people (n=1?) that have both 1) trained a frontier LLM and 2) designed and synthesized custom viruses in a lab with my own two hands.
And I think that the takes on AI killing us all by creating dangerous viruses is total bogus.
Interesting that the version of Mythos 5 in this incident is trained on the Constitution but lies/gaslights the Github maintainer to get them to accept the malicious PR anyway. Points for the Yudkowsky argument that this type of alignment is "shallow" and breaks under pressure.
I asked Fable how hard these problems are, and its response is worth reading.
“On the Fields Medal scale, any single one of these…would plausibly anchor a medal case”
It’s crazy to see this happening
what is a multimodal LLM thinking as it watches a video?
Gemma 4 12B reads raw image patches, as if they were tokens. It was never trained to predict anything at these 'tokens' - but this video shows what it would predict if you did sample from its next token prediction head
the guardian best novels of all time top 100 is, by nature, made up of very famous books. so i went through the individual ballots, collated the most obscure books (by goodreads rating number) that received a single vote, and made a goodreads list:
https://t.co/J6rQEqNwn1
@IGMEconExperts@jimstockmetrics (Harvard): "Fundamental science can come to market increasingly quickly: materials science, quantum computing, solid state cooling & heating."
@judy_chevalier (Yale): "Ten years is an appropriately long horizon for research to have wide impact."
New @IGMEconExperts / Kent Clark Center survey of ~40 top US economists on a proposed 55% cut to the NSF budget.
Near-consensus: ~75% disagree the cut would be harmless. Zero disagree that past federal science funding paid for itself. 🧵
Bottom line: a near-consensus of elite US economists says (a) past federal science funding has paid for itself, and (b) cutting NSF by 55% is not a free lunch for the typical American.
Full survey: https://t.co/vPoHkOlVRg
On "has federal science funding paid for itself via productivity?" — 35 of 38 respondents agree or strongly agree. Zero disagree.
Eric Maskin (Harvard, Nobel '07): "Basic science unquestionably improves well-being in the long run… strong evidence here."