Henning Beck

You cannot de-understand.

Neuroscienctist, writer.

[Henning Beck @HenningBeck1]

@maik_fassbender Du Glücklicher. Mein Vater hat vor ein paar Jahren einen voll funktionsfähigen Atari 1040 STF (inkl. externer 30 MB Festplatte) entsorgt 😑. Mit allen meinen Highscores drauf 🤦🏼.

[Henning Beck @HenningBeck1]

@mkilg_ Dass Tech-Unternehmen die grundsätzlichen Probleme aktueller KI-Architektur ignorieren würden, kann man angesichts dessen aber nicht behaupten.
Dass LLMs etwas Prinzipielles übersehen, ist doch in der Branche ein alter Hut, wird auch kommuniziert.
Meta:

https://t.co/D7RDD1c3wo

[Yann LeCun @ylecun]

Humans don't need to learn from 1 trillion words to reach human intelligence.
What are LLMs missing?

[Henning Beck @HenningBeck1]

@mkilg_ Wie passt das dazu, dass Google 2020 selbst auf das Problem der Unterspezifizierung von machine learning hingewiesen hat (und dass die Anwendbarkeit von ML auf Realweltdaten prinzipiell schwer verlässlich umsetzbar ist):

https://t.co/YxnqwhkpfC

[Henning Beck @HenningBeck1]

Wie sagte schon Konrad Zuse:
"Die Gefahr, dass der Computer so wird wie der Mensch, ist nicht so groß wie die Gefahr, dass der Mensch so wird wie der Computer."

#KI
#Gehirn
#chatgpt

[turi2 @turi2]

Alle sprechen über KI – Neurowissenschaftler @HenningBeck1 wirft in unserer Themenwoche einen etwas zurückhaltenderen Blick auf die Technik und nennt 3 Probleme, an denen sie krankt. https://t.co/yBrW97aqeq

[Henning Beck @HenningBeck1]

@LisbethSchroder Oh, oh, wie immer Vorsicht: teleologischer Fehlschluss droht.
Sonst antropomorphisieren wir die Welt noch zugrunde.
Der Schwarm ist eine interessante Geschichte. Aber es ist und bleibt ein Märchen.
Und trotzdem greift die Idee um sich (nicht zuletzt Corona als "Rache der Natur").

[Henning Beck @HenningBeck1]

@pmddomingos Totally possible.
And in 2050 all songs will still sound like Taylor Swift?

[Henning Beck @HenningBeck1]

@shanelindsay @iliekcomputers @SebastienBubeck @nytimes @bing Sure.
But if you have to walk AI trough such a super simple arithmetic problem, I wouldn't call it intelligent.
Keep in mind, it's only about calculations here. ChatGPT is much worse (I'd say dysfunctional) in real world causal reasoning.

[Henning Beck @HenningBeck1]

@shanelindsay @iliekcomputers @SebastienBubeck @nytimes @bing Please be aware that commutative law (that holds true for pure math) cannot easily be applied to real world problems. That's why 23 people cannot exit a bus with only 21 people inside. This is the actual trick question.

[Henning Beck @HenningBeck1]

@iliekcomputers @SebastienBubeck @nytimes @bing By the way, the prompt "riddle" seems to generate the answer "one". Even in the case below, where Bing-GPT gets everything wrong (even with prompting "riddle"). Real world math (and causal resoning) might be more than language statistics.

[Henning Beck @HenningBeck1]

@iliekcomputers @SebastienBubeck @nytimes @bing No doubt about that. All I'm convinced of is that transformer models are, by design, not able to reach human level cognition. And I still hope that they find a way to fix simple arithmetic problems like this:

[Henning Beck @HenningBeck1]

@iliekcomputers @SebastienBubeck @nytimes @bing Thanks for providing the proof-of-principle that you should not use these systems uncritically and they are reliant on human level prompting (because they don't understand by themselves).

[Henning Beck @HenningBeck1]

@SebastienBubeck @nytimes @bing And the Burj Khalifa is higher than the Mont Blanc:

[Henning Beck @HenningBeck1]

@SebastienBubeck @nytimes @bing Also Bing-GPT: 20-19=0

[Henning Beck @HenningBeck1]

@SporkPeter @Marius_Raabe Das Problem der Partizipialkonstruktionen ist, dass sie nicht dasselbe beschreiben wie Substantivierungen.
Nicht jeder Backende ist auch ein Bäcker.
Nicht jede Studentin auch eine Studierende.
Auch nicht jeder Anwohnende ist rechtlich ein Anwohner.

[Henning Beck @HenningBeck1]

@erikbryn The Brave New World.

[Henning Beck @HenningBeck1]

@khemaridh It's more the "I'm not done yet" feeling.

I want to see the Himalaya, haven't seen a blue whale, want to win a road race...
I would be really upset and sad, if I had to realize that I need to give up my dreams and aspiration in the face of death.
This loss is frightening.

[Henning Beck @HenningBeck1]

@emollick Who is going to read all this?
Seems like Bing/ChatGPT is offering a 7-course menu when I want a Big Mac.
Isn't the idea of using Google that you get a quick shot at possible answers?
And then links to more in-depth websites?

Are they missing the whole idea of web searching?

[Henning Beck @HenningBeck1]

@RichardSocher Kalifornier (in der Bay Area) sind wie Deutsche. Nur mit weniger Angst und mehr Geld.

[Henning Beck @HenningBeck1]

@SporkPeter @riffreporter Leider verdient man mit Qualität an sich kein Geld.
Der Grund: Qualität ist kein messbares Wirtschaftsgut.
Im Zweifel schlägt die Followershaft eines Influencers den substanziellen Inhalt eines Qualitätsmediums.

Trotzdem: Optimistisch bleiben :-). Und weitermachen. Tue ich auch.