Josse

Father | Employee | Teetotalist | Lark | ADĦD |Discipline equals freedom | music, guitars |Psychology | I have an opnion that is probably not my employer’s

[Yann LeCun @ylecun]

I said "auto-regressive LLMs, in and of themselves, will not lead human-level AI"
That statement is still totally true.

First, the reasoning abilities of current AI systems are based non-auto-regressive search (which is what I have always advocated for). But AFAICT, they do it in token space, which is limited and inefficient. I have claimed that human-like reasoning must be a search in continuous representation space. It looks like the industry is moving towards that.

Second, the self-improvement methods, as currently practiced, only work for domains where the quality of outputs can be scored without human intervention, such as mathematics, code, and scenarios that can be simulated accurately. Not anything else. Humans and animals learn new skills way more efficiently than current RL methods.

Third, the multimodal capabilities of current AI assistants generally use separately-trained encoders (that are not LLMs). This is also what I've been advocating. Except that I think the best way to do this is with JEPA trained with self-supervised learning. The research community is clearly moving towards that (3000 papers on JEPA in just 4 years).

Fourth, if LLMs were a path to human-level AI, we would have domestic robots and Level-4 or Level-5 self-driving cars for consumers by now. And we don't. We certainly don't have cars that can learn to drive in 20 hours or practice like any teenager. We're still missing something pretty huge to claim human-level intelligence (let alone superhuman).

Sure, we now have computer systems that are impressive, very useful, and whose performance is superhuman in an increasing number of domains (coding being one of them).
But that's true of the entire history of progress in computer technology.

Lastly, there is a basic confusion about what intelligence actually is.
It is not the mere accumulation and regurgitation of existing declarative knowledge (which is essentially what LLMs do).
As Jean Piaget famously said, "intelligence is not what you know, it is what you do when you don't know."
It is your ability to solve new problem without any prior training, to act in previously-unknown scenarios, and to adapt very quickly to new situations with minimal training.

We're still far from that.

[tonvanhaperen @tonvanhaperen]

Geen probleemdefinitie of analyse, gewoon wat roepen, de berichtgeving over 40% slecht lezen, ruim 20 jaar terug lag dat percentage op 10. Plichtmatige opinie. Geen aandacht op tv, bij @Buitenhoftv en @WNLOpZondag. Kortom, zoektocht naar bodem gaat gewoon door. Op naar 50%!

[Hannes Minkema @hminkema]

In 2012 deden mensen nog sceptisch, sommigen zelfs lacherig over mijn signalering van de snel stijgende onderwijsuitgaven.

Aanzienlijk sneller dan door de kosten van lesgeven (= salaris leraren) verklaard kon worden.

Kunnen de lacherigen even deel B van deze grafiek verklaren?

[Josse @JTishauser]

@CasperHuls Stukken handiger dan de copilot knop op de plek van je rechter Ctrl.

[wskamphuis @wskamphuis]

@BartBurggraaf Dan moet je je vrienden aanspreken die 30 jaar neoliberalisme in de publieke sector mogelijk maken door vvd of cda te stemmen.

[Carl Hendrick @C_Hendrick]

Both @rpondiscio and @natwexler have written many books and thousands of words online spelling out exactly what they think, so implying they have some malevolent secret agenda they “won’t publicly say” is not serious critique, it’s conspiratorial nonsense.

Worse, it’s intellectually cowardly. It’s much harder to confront the fact that smart, decent people can look at the same world and arrive at very different conclusions than it is to declare them corrupt and walk away. The former demands argument, humility, and revision; the latter demands only performative outrage.

[Josse @JTishauser]

@thebandb Ik ben een half jaartje geleden overgestapt naar brave. Bijna identiek aan chrome dezefde plugins werken erop en het heeft een ingebouwde adblocker. Als je chrome gebruikt terwijl je ingelogd bent op google kan google alles tracken wat je doet.

[Josse @JTishauser]

@greg_ashman Meanwhile more and more vibe coding is driving enshittification to new lows, like a virus infecting everything, Vimeo is being ruined, M365 is getting buggier, Microslop has already admitted Windows updates are being coded by AI and it is not pretty. The bubble is about to burst.

[Josse @JTishauser]

@greg_ashman Like Yann LeCunn says, If LLM's fail to predict the outcome of their actions, how smart are they really. It pretends to be smart and Dawkins fell for it. They might as well call the next model Dunning Kruger.

[Josse @JTishauser]

@milachka2001 @benwilbrink @VanDammeEDU Lees eens wat onderzoek zou ik zeggen.

[Josse @JTishauser]

@patloeber @googlegemma Well we have M1 Ultra 128Gb RAM sitting around a lot so I figured lets see if it can help with some python and lua coding for Davinci Resolve. I’m not a coder so fingers crossed. Thanks for the advice!

[Wim Van den Broeck @wv012]

Pseudowetenschap als leidraad voor hoger onderwijs. Wie deze tekst kan lezen zonder te struikelen over de talloze inconsistenties, die mag het gerust zeggen. P.S. Er is geen enkele wetenschappelijke evidentie voor het bestaan v zgn. neurotypes. https://t.co/sGsEzXplpD

[wskamphuis @wskamphuis]

@RVDJ_NL @MinOCW En Terri van der Velden bij @MinOCW.

Aangezien jij blijkbaar namens de leraren spreekt is het jouw taak om je collega's te wijzen op wat de VO-Raad is bij gesprekken:

Een werkgeversorganisatie.

[wskamphuis @wskamphuis]

@RVDJ_NL @MinOCW Jullie doen hier ook heel hard aan mee door deze werkgevers "het veld" te noemen.

Zij zijn "het veld van werkgevers".

Het is jullie taak er voor te zorgen dat de woorden kloppen als je je werk doet.

Dus: Michiel Schulmaijer en Lisa Gaster:

Doe je werk.

[wskamphuis @wskamphuis]

@RVDJ_NL Is er een mogelijkheid om dit standaard te maken? Dat journalistiek ophoudt met "het onderwijs" en start met "de werkgevers in het onderwijs" te zeggen? Moet ik daarvoor een rechtzaak voeren?

[wskamphuis @wskamphuis]

@NUnl

Scholenorganisatie is echt een totaal verkeerd woord. Het is een werkgeversorganisatie van schoolbesturen voortgezet onderwijs.

Ik ben er inmiddels wel een beetje klaar mee dat de journalistiek de VO-Raad napraat.

Weet iemand bij wie ik dit aanhangig kan maken?

[Yann LeCun @ylecun]

Shooting oneself in the foot?
Nope.
Shooting oneself in the prefrontal cortex.

[Casper Hulshof @CasperHuls]

Feliciteer allemaal even @tonvanhaperen - die uit handen van de Eindhovense burgemeester Jeroen Dijsselbloem vanmorgen een lintje ontvangen heeft.

[Neil Stone @DrNeilStone]

Joe Rogan

At 1:40 in this clip he says

"Tetanus is not dangerous"

Just to clarify

TETANUS IS F@*KING DANGEROUS

Yours sincerely

an Infectious Diseases specialist