🚨BREAKING: OpenAI published a paper proving that ChatGPT will always make things up.
Not sometimes. Not until the next update. Always. They proved it with math.
Even with perfect training data and unlimited computing power, AI models will still confidently tell you things that are completely false. This isn't a bug they're working on. It's baked into how these systems work at a fundamental level.
And their own numbers are brutal. OpenAI's o1 reasoning model hallucinates 16% of the time. Their newer o3 model? 33%. Their newest o4-mini? 48%. Nearly half of what their most recent model tells you could be fabricated. The "smarter" models are actually getting worse at telling the truth.
Here's why it can't be fixed. Language models work by predicting the next word based on probability. When they hit something uncertain, they don't pause. They don't flag it. They guess. And they guess with complete confidence, because that's exactly what they were trained to do.
The researchers looked at the 10 biggest AI benchmarks used to measure how good these models are. 9 out of 10 give the same score for saying "I don't know" as for giving a completely wrong answer: zero points. The entire testing system literally punishes honesty and rewards guessing.
So the AI learned the optimal strategy: always guess. Never admit uncertainty. Sound confident even when you're making it up.
OpenAI's proposed fix? Have ChatGPT say "I don't know" when it's unsure. Their own math shows this would mean roughly 30% of your questions get no answer. Imagine asking ChatGPT something three times out of ten and getting "I'm not confident enough to respond." Users would leave overnight. So the fix exists, but it would kill the product.
This isn't just OpenAI's problem. DeepMind and Tsinghua University independently reached the same conclusion. Three of the world's top AI labs, working separately, all agree: this is permanent.
Every time ChatGPT gives you an answer, ask yourself: is this real, or is it just a confident guess?
R.I.P Google Scholar.
I'm going to share the 10 Perplexity prompts that turn research from a chore into a superpower.
Copy & paste these into Perplexity right now:
🇯🇵 🚀 Rakieta Hondy wystartowała, wylądowała i... zawstydziła Europę
Parę dni temu koncern Hondy znienacka wrzucił film ich pierwszej rakiety typu hopper, która wykonała spokojny lot, zakończony eleganckim lądowaniem.
Szczególnie Europa powinna zwrócić na niego uwagę.
1/13
53-letni Jaromir Jagr 🇨🇿 nie zraża się tym, że ostatnio stracił zęby (mówił, że sztuczne, bo swoje pożegnał już dawno) i gra swój 41. hokejowy sezon w karierze - w czeskiej Ekstralidze.
Sprawdziłem kto w innych dyscyplinach też nic sobie nie robi z metryki. 🧵1/10
Kaprekar’s Constant. The constant, which is 6174, is a four-digit number that has a unique property:
"no matter which four-digit number you start with, after a series of mathematical operations, you will always end up at 6174"
Let’s start with a four-digit number, say 3769.
We can rearrange the digits to form the largest possible number and the smallest possible number. In this case, the largest possible number is 9763 and the smallest possible number is 3679. We then subtract the smaller number from the larger number, 9763–3679 = 6084. We repeat the process with the result, 8640–0468 = 8172, and so on, until we finally reach the number 6174.
The property holds true for any four-digit number following same sets of Mathematical operations.
In 1949, an Indian mathematician named D.R. Kaprekar discovered this intriguing property.
[Full Story: https://t.co/FH30lY7XfZ…]
The most dominant athlete in history wasn't:
• Michael Jordan
• Muhammad Ali
It was a chess player who crushed the Soviet empire.
But then he vanished for 20 years. Here's the dark story of chess's greatest genius:
SHOCKING 🚨 :
In 1972, A French scientist Michel Siffre volunteered to lose his mind.
He spent 180 days alone in a cave 440 feet underground with:
- No clock.
- No sun.
- No human contact.
What he discovered haunts scientists to this day:
𝐅𝐮𝐭𝐛𝐨𝐥 to ciągła ewolucja, kształtowana przez genialne umysły i odważne taktyki.
𝐎𝐭𝐨 𝟏𝟎 𝐢𝐧𝐧𝐨𝐰𝐚𝐜𝐣𝐢 𝐭𝐚𝐤𝐭𝐲𝐜𝐳𝐧𝐲𝐜𝐡, które zmieniły piękno tego sportu, 𝐧𝐚 𝐳𝐚𝐰𝐬𝐳𝐞🧵⚽
Ostatnia jest najciekawsza.
AI startup Pathway, kierowany przez dr Zuzannę Stamirowską, pozyskał właśnie 10 mln dolarów w rundzie seed. W gronie inwestorów jest Łukasz Kaiser (OpenAI), firma otrzymuje również wsparcie od polskich funduszy Market One Capital oraz Inovo.
Zuzanna jest autorką modelu prognostycznego stosowanego w handlu morskim, opublikowanego przez Amerykańską Akademię Nauk.
CTO firmy jest Jan Chorowski, który współpracował wcześniej z noblistą prof. Geoffreyem Hintonem oraz innym "Ojcem Chrzestnym AI" Yoshua Bengio.
Wśród klientów Pathway są już między innymi NATO oraz La Poste (francuska poczta).
Polska myśl technologiczna wkracza na globalną scenę – Zuzanna przenosi się do Menlo Park w Kalifornii, by podbić rynek amerykański. Powodzenia! @zuzanna_pathway@JChorowski
New York Times opisał badanie, w którym AI Chatbot przewyższył ludzkich lekarzy w diagnozowaniu chorób.
ChatGPT uzyskał średni wynik 90% podczas diagnozowania choroby na podstawie opisu przypadku oraz przy wyjaśnianiu swojego rozumowania, podczas gdy lekarze korzystający z chatbota uzyskali średnio 76%, a ci bez niego 74%.
"Byłem w szoku" — skomentował dr Adam Rodman, współautor badania, specjalista medycyny wewnętrznej.
Badanie ujawniło, że lekarze czasami zbyt mocno wierzą w swoje diagnozy, nawet gdy chatbot sugeruje lepsze rozwiązanie.
Choć lekarze mają dostęp do narzędzi AI, niewielu potrafi w pełni wykorzystać ich możliwości:
Lekarze często traktowali chatbota jak wyszukiwarkę, zamiast używać go do pełnej analizy całego przypadku.
Tylko niewielka część lekarzy zrozumiała, że mogą skopiować całą historię przypadku do chatbota i poprosić o kompleksową odpowiedź.
W eksperymencie wzięło udział 50 lekarzy, w tym rezydenci i lekarze prowadzący, a jego wyniki opublikowano w ubiegłym miesiącu w czasopiśmie JAMA Network Open.
Historie przypadków medycznych były oparte na rzeczywistych pacjentach i pochodziły z zestawu 105 przypadków używanego przez badaczy od lat 90., które nie były nigdzie opublikowane więc ChatGPT nie był na tych danych trenowany.
Every machine learning engineer should know about these techniques:
1. Active learning
2. Distributed training
3. Error analysis
4. Invariance tests
5. Two-phase predictions
6. Cost-sensitive deployments
7. Human-in-the-loop workflows
8. Model compression
9. Testing in Production
10. Continual learning
I cover them all in my Machine Learning Engineering cohort.
• 3 weeks
• 6 live sessions
• 3 office hours
• 15 coding sessions
• 40 coding assignments
• lifetime access
November's cohort starts this Monday, and the following cohort starts in February.
You'll learn how to build end-to-end machine learning systems from scratch using open-source tools.
I'll teach you how to run and deploy these systems on your own servers and the cloud (using any cloud provider.) Build once, run everywhere.
1,500 students have gone through the program already. It's the best online engineering class you'll find.
Join at https://t.co/iZifcK7UTF.