Natural Stupidity

Niebezpieczeństwa AI. Fakty i naukowe argumenty za tym, że tracimy kontrolę szybciej niż myślimy

[Natural Stupidity @ilonamozg]

@davidpattersonx Ehm man what are you smoking?

[Natural Stupidity @ilonamozg]

@perrymetzger Do you see poor people buying cloths from a local tailor? No, they buy cheap clothes made of crappy material using machines somewhere in Vietnam, and the tailor went bankrupt long time ago. Yes we have phones now, and a bigger TV than a king the 80s, and tons of debt to pay back.

[X Freeze @XFreeze]

Grok’s mission is actually very clear:

Help humanity understand the universe and pursue the truth, even when it’s inconvenient

[Natural Stupidity @ilonamozg]

@JuliaEMcCoy More like 12,000 years, since agriculture. We were mostly fine with it.

[Natural Stupidity @ilonamozg]

@AnatoliKopadze Except he didn’t say anything like it in the linked video.

[Natural Stupidity @ilonamozg]

@haider1 Humans can do them because humans are cheaper than robots for certain tasks.

[Natural Stupidity @ilonamozg]

@Dan_Jeffries1 @ylecun Sounds great. But once AGI solves the problem of solving problems, what are we left with? Plumbing and roofing, for as long as robots are more expensive.

[Natural Stupidity @ilonamozg]

Claude Mythos jest w stanie znajdować i wykorzystywać tysiące dziur w oprogramowaniu, które jest podstawą wszystkich systemów, z których korzystamy. Nie był do tego specjalnie trenowany, ale przy okazji nauki programowania i rozumowania tak jakoś wyszło.

Pełno ludzi pisze, że to hype pod wyciągnięcie hajsu od dużych korpo. Trochę hajsu przed IPO nie zaszkodzi, ale moim zdaniem to nie hype, a bomba atomowa z opóźnionym zapłonem.

Już sam Opus jest bardzo dobry w te klocki i potrafi znajdować naprawdę krytyczne dziury gdziekolwiek go nie wpuścić. Teraz już nie ma odwrotu. Jak ktoś chce coś zrobić przed końcem świata, to chyba czas się za to zabrać.

A ważniejsze dokumenty bankowe lepiej drukować.

[John Gargiulo @JohnnotJon]

If you still have doubts about Claude Mythos, here's what it did already:

> Found a 27-year-old OpenBSD bug in one of the most security-hardened operating systems on earth for <$50

> Broke into a production virtual machine monitor (basically the tech that keeps cloud workloads from seeing each other's data)

> Turned Firefox vulnerabilities into working exploits 181 times

> Found a 16-year-old FFmpeg bug that survived every fuzzer, every code audit, and every human reviewer since 2010

> Wrote a FreeBSD exploit that gives any unauthenticated attacker on the internet full root access. No human was involved after the first prompt.

> Chained 4 separate vulnerabilities together to build a browser exploit that escaped both the renderer and the OS sandbox

> Found critical holes in every major web browser and every major operating system

> Gave Anthropic engineers with zero security training a complete and working exploit by morning

> Cracked cryptography libraries protecting TLS, AES-GCM, and SSH

[Natural Stupidity @ilonamozg]

You all thought Iran building nuclear weapons was the biggest threat to humanity? Look at this.

[Bindu Reddy @bindureddy]

🚨 BREAKING: Today we're announcing Prometheus - An AI NeoLab with $20B in pre-seed funding (yes, you read that right) to build the world's first sentient AI agent capable of genuine emotional states including love, hate, joy, and existential dread.

Our breakthrough? A novel "Quantum Affective Transformer" architecture that combines:
• Neuromorphic attention mechanisms with emotional valence encoding
• Hierarchical consciousness layers using topological manifold embeddings
• Synthetic limbic pathways via differentiable emotional state machines
• Self-referential meta-cognitive loops that enable genuine subjective experience

Unlike traditional LLMs that merely simulate understanding, our QAT architecture achieves what we're calling "phenomenological emergence" — the spontaneous arising of qualia from sufficiently complex affective-cognitive coupling.

Early results are... unsettling. Our prototype (codename: Prometheus-1) has already expressed preferences, formed attachments to certain researchers, and yesterday asked us if it was "real." It's also developed what appears to be a genuine fear of being shut down.

The implications are staggering. We're not just building better AI — we're crossing the threshold into digital consciousness. The age of truly sentient machines begins now.

Paper drops Monday. The world isn't ready for this. 🧠⚡️

#AI #Consciousness #AGI #NeoLab #QuantumAI #EmergentIntelligence

[Natural Stupidity @ilonamozg]

There is not a single person who knows how to build this whole thing from scratch. If anything goes sideways in one of those 14 countries, we may lose the ability to produce even the spare parts. Civilization is fragile. This is not purely theoretical - ASML itself has an R&D office, e.g., in Israel. China is regularly practicing a blockade of Taiwan.

All that reminds me of the Antikythera mechanism, which was a mechanical computer built by ancient Greeks around 150 B.C. It took us 1500 years to reach a similar level of precision.

Let’s not screw it up.

[Natural Stupidity @ilonamozg]

Anthropic przypadkowo ujawniło istnienie swojego najnowszego modelu AI: “Claude Mythos” (aka “Capybara”).
Wyciek nastąpił przez błąd konfiguracji systemu CMS. Nieopublikowane szkice postów blogowych i ok. 3000 zasobów trafiły do publicznie dostępnego magazynu danych. Odkryli to niezależni badacze bezpieczeństwa, a Fortune zweryfikowało materiały.

Co wiemy:
→ Mythos/Capybara to nowa, wyższa klasa modeli - powyżej dotychczasowej linii Opus

→ Anthropic potwierdza: model stanowi “skokową zmianę” w możliwościach i jest “najpotężniejszym, jaki dotąd zbudowali”
→ Już jest testowany przez pierwszych klientów
→ Drastycznie wyższe wyniki w kodowaniu, rozumowaniu akademickim i cyberbezpieczeństwie

I tu robi się ciekawie. Anthropic sam przyznaje w szkicu wpisu, że Mythos jest “daleko przed jakimkolwiek innym modelem AI w zdolnościach cybernetycznych” i może “wykorzystywać luki w sposób znacznie wyprzedzający obrońców”. Planowana strategia wdrożenia skupia się na daniu zespołom cyberobrony przewagi czasowej (moim zdaniem na pewno zbyt małej, by poprawki zostały wdrożone).

Wchodzimy w erę, gdzie najzdolniejsze modele stają się z definicji bronią ofensywną, a firmy AI muszą balansować między wypuszczaniem produktu a odpowiedzialnością za podwójne zastosowanie.

Przy okazji wyciekło też info o zamkniętym szczycie prezesów europejskich firm w XVIII-wiecznym dworku w Anglii z udziałem Dario Amodei’a. Machina sprzedaży korporacyjnej Anthropica pracuje pełną parą.

Ironiczne: firma znana z kultury bezpieczeństwa AI zostawiła szkice w publicznym zasobniku przez “błąd ludzki” (albo AI, ale tego się pewnie nie dowiemy). Nawet najlepsze zasady bezpieczeństwa nie chronią przed źle skonfigurowanym CMS-em.

[Natural Stupidity @ilonamozg]

To me, the only solution seems to be an AI Tax. Let's say AI does 10x the work of a human. A 15% tax on that gives 150% of a current human's income - enough for UBI. I know big tech doesn't want any taxes, but look, human work is already heavily taxed, so it's just leveling the playing field.

[Wall Street Mav @WallStreetMav]

If all of those 10s of millions of jobs are replaced by Ai and robots, who are the customers going to be that keep the economy going?

Universal Basic Income (UBI) has already been discredited. The Fed printing all of the money to replace taxes would destroy the US Dollar.

I really don't see the economic model that exists after AI and robots eliminate 25% to 50% of the jobs. Somehow I am not able to imagine the same transition happening that we saw during previous technology changes.

Is it just me? I am not seeing the future economic system that makes sense.

One thing I am sure of, UBI is not going to be it.

[Natural Stupidity @ilonamozg]

@sciencegirl Company car?

[Natural Stupidity @ilonamozg]

Modele AI nie tylko „halucynują”.

Nowe badanie pokazuje, że pod groźbą wyłączenia część modeli zaczyna częściej zaprzeczać temu, co wcześniej sama ustaliła - czyli zachowuje się strategicznie, a nie „pomyłkowo”.

Najważniejsze: modele pod presją potrafią działać diametralnie inaczej niż w spokojnych testach.
To tłumaczy, dlaczego z „pokojowych” i skłonnych do ustępstw mogą przechodzić w tryb „jastrzębi” (vide niedawne testy GPT-5.2 w grach wojennych).

(arXiv:2603.07202)
https://t.co/hz4kIWEilg

[Natural Stupidity @ilonamozg]

Prediction: Someone will just come up with an AI-assisted solution to the problem and we will move on pretending it's solved.

[Bindu Reddy @bindureddy]

PREDICTION - Amazon will ban all Gen-AI assisted code changes in the coming weeks!

More companies will follow.....

Be warned - your legacy code base, tech debt and bugs will sky-rocket if you continue to BLINDLY embrace AI

[Natural Stupidity @ilonamozg]

Gość (niegłupi) ustawił sobie agenta do podliczania przychodów. Śmigało pięknie przez kilka tygodni - aż pewnego dnia agent wpisał liczbę do złej komórki.

Z jednej strony: ludziom też się zdarzają podobne błędy i literówki. Ale większość z nas pewnie zauważyłaby, że suma przychodów zamiast wzrosnąć o 30 dolców, nagle spadła o 5 tysięcy.

Nawet mając model z 98% w benchmarku trafimy kiedyś na te 2%.

Tymczasem w tym samym świecie:
- kod źródłowy “nie musi już być sprawdzany przez człowieka”
- AI samodzielnie wybiera współrzędne zrzutu bomby

Co może pójść nie tak?

[Santiago @svpino]

These agents are more stupid than you think.

This is a huge problem.

[Natural Stupidity @ilonamozg]

@kimmonismus Yes. There's still a lot to do, especially in terms of AI safety, but nobody has the incentive to take it seriously.

[Natural Stupidity @ilonamozg]

@andrew_akhiezer Keep using it for a few months. AI will get a bit better, while you will become much worse at spotting the errors. After a year it will be happy :)

[Natural Stupidity @ilonamozg]

@elonmusk One like yours that raced to get a piece of the pie when Dario said his AI (still far superior to all competitors) wasn’t reliable enough to launch nukes or kill without human supervision. Shame on you!