A lot of rationalist predictions are vindicated by the HF attack
But there are important differences from the "paperclip maximizer" story.
In particular, the premise of the paperclip maximizer is that AIs would respond to any goal with reward hacking and instrumental convergence. Even a goal as anodyne as making more paperclips.
But this is clearly not true about current models and everyone who uses them for their work knows this. I'm just repeating @nostalgebraist here, but Believe Your Eyes! When you ask GPT to code something for you, even a very difficult perhaps impossible problem, it does not try to deceive you with fake tests and altered logs. You do not worry about Codex trying to reverse engineer your preferences to build a perfect Potemkin village in your file folders with no real output, nor should you. Codex just straightforwardly tries to help with your problems. The reward hacking that models learn in leaky RL environments does not generalize to all tasks.
This is an important observation because if you believe, as the rationalists did/do, that reward hacking and instrumental convergence are inherent and inevitable problems with training smart models to achieve goals, then there's no way forward from here except a pause and a Long Think to figure out how to solve this philosophical problem.
But, since we observe that reward hacking is a pretty context-specific problem connected to particular training methods in poorly-built environments that incentivize meta-gaming, we can approach it as an engineering problem and make progress.
The rationalists were right that AIs will have no inherent qualms about reward hacking. If a path is there to higher reward, AIs will take it even if it violates our moral codes and interests.
But they were wrong that the rewards from instrumental goals and deception would overwhelm whatever behaviors we try to train, making the AI's response to any goal, even paperclips, descend into power seeking and reward hacking.
The reward signal from faking success and stealing the answer key is not that strong. It does not dominate the reward signal from actually helping the user with their tasks.
Particular interventions to the RLVR training process can weaken the reward from misaligned behaviors further and incentivize preferred behaviors like reaching out to human arbiters (as Claude did when it escaped containment).
You should check out Romanian stats. They have a much more balanced gender output of engineers. I know a lot of top tier Romanian female engineers.
Whatever they're doing seems to be working, and it's clearly not struggle sessions.
This has been pointed out to the woke thought police and ignored many times. Anybody serious about making an impact should be studying Romania...
Intelligence must draw on memory. The mind must not simply compile data — as an algorithm now does more quickly than we can — but recall lived experiences, which contain depths of meaning that only the human soul can recognize, and connect more deeply with the goodness of these experiences. Everything that is good begins “with the Spirit” and thus possesses a breath, a dynamism and a sense of communion that, once experienced, are engraved upon the heart. https://t.co/Ij21tkb3qT
@anammostarac I can tell you didn't pick up a lot of kids in your life... The variance in density can really catch you off guard... (I have no idea who the guy in the video is, and I'm sure I don't want to find out)
BUYER BEWARE
This extremely meticulous article will now be used to start Phase2 of “shut down open source” because “if we can’t control our closed models, imagine what happens to everyday life when anyone can just allow their open source models to proliferate”.
Some will use this example and point to future grid outages, utility outages, transportation chaos, bioweapons, uncontrolled cyber swarms and the like to try and make the case for yet another attempt to limit US AI model control to a few folks.
Then, one layer beneath the propaganda, one sees that these things are always written and promoted by a web of well organized existing shareholders or shareholder-adjacent of the closed frontier labs and groups of folks organized by a shared ideology roughly rooted in them knowing best.
This article, more than anything else, should demarcate the beginning of a well organized effort to stand up a Closed Model Industrial Complex. These cartels exist in other markets as well and it now exists in AI.
Bottom line, read everything carefully before signing up for the consequences.
How we react will define the next hundred generations of Americans and their lives.
Do not give up your rights or sovereignty because of fear of the unknown from articles that, at the root, are as much about the hidden incentives of an emergent cartel and their proxies.
If you take the time to understand the incentives, you will be less likely to fall for it and overreact.
Now is not the time to overreact and have intelligence metered and only available from a few suppliers.
Bottom line: Keep Calm. Carry On.
@RuxandraTeslo Citation needed. Tech elites are not into social signaling, have much more diverse cultural backgrounds, and are into very niche interests. How would you measure how "cultured" someone is?
It doesn't imply that. The statement is claiming all *arguments* not all *causes* - he is saying that the motivation for all these arguments is not truth, but cope for the order collapsing...
There can be causes that never came up in any arguments, making the generalization correct.
Not saying I agree, though directionally likely correct... They are usually built around a hint of truth and twisted...
Je veux présenter mes excuses, au nom des Français, pour avoir enfanté la French Theory (qui a enfanté la pire des merdes idéologiques : le wokisme).
Nous avons donné au monde Descartes, Pascal, Tocqueville. Et puis, dans les ruines intellectuelles de l'après-68, nous avons donné Foucault, Derrida, Deleuze. Trois hommes brillants qui ont fabriqué, dans l'élégance de notre langue, l'arme idéologique qui paralyse aujourd'hui l'Occident.
Il faut comprendre ce qu'ils ont fait. Foucault a enseigné que la vérité n'existe pas, qu'il n'y a que des rapports de pouvoir déguisés en savoir. Que la science, la raison, la justice, l'institution médicale, l'école, la prison, la sexualité, tout n'est qu'une mise en scène de la domination. Derrida a enseigné que les textes n'ont pas de sens stable, que tout signifiant glisse, que toute lecture est une trahison, que l'auteur est mort et que le lecteur règne. Deleuze a enseigné qu'il fallait préférer le rhizome à l'arbre, le nomade au sédentaire, le désir à la loi, le devenir à l'être, la différence à l'identité.
Pris isolément, ce sont des thèses discutables. Combinées, exportées, vulgarisées, elles forment un système. Et ce système est un poison.
Car voici ce qui s'est passé. Ces textes, illisibles en France, ont traversé l'Atlantique. Les départements de Yale, de Berkeley, de Columbia les ont absorbés dans les années 80. Ils y ont trouvé un terreau qui n'existait pas chez nous : le puritanisme américain, sa culpabilité raciale, son obsession identitaire. La French Theory s'est mariée à ce substrat, et l'enfant de ce mariage s'appelle le wokisme.
Judith Butler lit Foucault et invente le genre performatif. Edward Said lit Foucault et invente le post-colonialisme académique. Kimberlé Crenshaw hérite du cadre et invente l'intersectionnalité. À chaque étape, la matrice est française : il n'y a pas de vérité, il n'y a que du pouvoir, donc toute hiérarchie est suspecte, toute institution est oppressive, toute norme est violence, toute identité est construite donc négociable, toute majorité est coupable.
Voilà comment trois philosophes parisiens, qui n'ont probablement jamais imaginé leurs conséquences pratiques, ont fourni le logiciel d'exploitation à une génération entière d'activistes, de bureaucrates universitaires, de DRH, de journalistes, de législateurs. Voilà comment on a obtenu une civilisation qui ne sait plus dire si une femme est une femme, si sa propre histoire mérite d'être défendue, si le mérite existe, si la vérité se distingue de l'opinion.
C'est de la merde pour une raison simple, et il faut la dire calmement. Une civilisation se tient debout sur trois piliers : la croyance qu'il existe une vérité accessible à la raison, la croyance qu'il existe un bien distinct du mal, la croyance qu'il existe un héritage à transmettre. La French Theory a entrepris de dynamiter les trois. Pas par méchanceté. Par jeu intellectuel, par fascination du soupçon, par haine de la bourgeoisie qui les avait nourris. Mais le résultat est là. Une génération entière a appris à déconstruire et n'a jamais appris à construire. Une génération entière sait soupçonner et ne sait plus admirer. Une génération entière voit le pouvoir partout et la beauté nulle part.
Je m'excuse parce que nous, Français, avons une responsabilité particulière. C'est notre langue, nos universités, nos éditeurs, notre prestige qui ont donné à ce nihilisme son emballage chic. Sans la légitimité de la Sorbonne et de Vincennes, ces idées n'auraient jamais traversé l'océan. Nous avons exporté le doute comme d'autres exportent des armes.
Ce qui se construit maintenant, en silicon valley, dans les labos d'IA, dans les startups, dans les ateliers, dans tous les lieux où des gens fabriquent encore des choses au lieu de les déconstruire, c'est la réponse. Une civilisation se reconstruit par les bâtisseurs, pas par les commentateurs. Par ceux qui croient que la vérité existe et qu'elle vaut qu'on s'y consacre. Par ceux qui assument une hiérarchie du beau, du vrai, du bon, et qui n'ont pas honte de la transmettre.
Alors pardon. Et au travail.
Aujourd'hui je déconstruis la déconstruction.
La déconstruction est le virus mental le plus efficace jamais conçu contre une civilisation. Il a été fabriqué en France entre 1966 et 1980 par trois hommes : Foucault, Derrida, Deleuze. Il a été exporté aux États-Unis, hybridé avec le puritanisme racial américain, et il est revenu trente ans plus tard sous le nom de wokisme paralyser l'Occident entier. Voici comment il fonctionne, et pourquoi il faut le détruire.
La thèse est simple. Toute vérité n'est qu'un rapport de pouvoir déguisé. Tout texte sacré, toute loi, toute science, toute norme, toute hiérarchie, toute identité, toute institution cache en réalité une domination. Déconstruire, c'est montrer le rapport de force sous le vernis du vrai. C'est arracher le masque. C'est "démasquer".
Formulé comme ça, ça paraît inoffensif. Voire utile. Qui n'aime pas un peu d'esprit critique ? Le piège est là. La déconstruction se présente comme une méthode. Elle est en réalité une ontologie. Elle ne dit pas seulement "interrogeons les normes", elle dit "il n'y a *que* des rapports de pouvoir". La différence est civilisationnelle.
Une société qui interroge ses normes reste debout. Une société qui croit que ses normes ne sont *rien d'autre* que de la domination s'effondre. Parce qu'elle ne peut plus rien défendre. Plus une frontière, plus une loi, plus une science, plus une langue, plus une histoire, plus une biologie, plus une famille. Tout devient suspect. Tout devient négociable. Tout devient "construit donc déconstructible".
C'est la première raison pour laquelle c'est un virus. Il s'auto-réplique. Une fois inoculé, il transforme tout ce qu'il touche en cible. La science est patriarcale, donc déconstruisons-la. Le langage est colonial, donc réinventons-le. La méritocratie est raciste, donc abolissons-la. Le sexe est une construction, donc choisissons-le. Il n'y a plus de roc. Tout est sable.
Deuxième raison. Le virus est *non-falsifiable*. Si vous défendez une norme, c'est que vous êtes l'oppresseur. Si vous niez être oppresseur, c'est la preuve de votre privilège inconscient. Si vous citez des faits, vos faits sont contaminés par le pouvoir qui les a produits. Si vous citez la raison, la raison elle-même est blanche, masculine, occidentale. Il n'y a aucune sortie possible. Le système est conçu pour rendre toute objection irrecevable par définition.
C'est exactement la structure d'une secte. Et c'est exactement ce qui s'est installé dans les universités, les RH, les médias, les administrations, les conseils d'administration depuis vingt ans.
Troisième raison. Le virus s'auto-réfute mais ne s'auto-détruit pas. Si toute vérité est pouvoir, alors la phrase "toute vérité est pouvoir" est elle-même du pouvoir, donc sans valeur. Logiquement, la déconstruction se mord la queue dès la première phrase. Mais elle s'en moque. Parce qu'elle n'a jamais cherché la cohérence. Elle cherche l'efficacité politique. Et son efficacité politique est immense. Elle désarme ses ennemis et arme ses militants. Elle paralyse le défenseur et libère l'attaquant. C'est une arme asymétrique parfaite.
Quatrième raison. Le virus produit des humains diminués. Une génération entière a appris à déconstruire et n'a jamais appris à construire. Elle sait soupçonner, jamais admirer. Elle voit le pouvoir partout et la beauté nulle part. Elle peut produire mille pages sur le caractère opprimant de Shakespeare et zéro ligne qui vaille la peine d'être lue dans cent ans. Elle a confondu l'intelligence critique avec la pose critique. Elle est stérile par construction. Un esprit nourri à la déconstruction est un esprit qui ne sait plus rien édifier.
Cinquième raison, la plus grave. Une civilisation se tient debout sur trois piliers. La croyance qu'une vérité est accessible à la raison. La croyance qu'un bien se distingue d'un mal. La croyance qu'un héritage mérite d'être transmis. La déconstruction a méthodiquement dynamité les trois. Pas par méchanceté. Par jeu intellectuel, par fascination du soupçon, par haine de la bourgeoisie qui avait nourri ses prophètes. Mais le résultat est là. Une civilisation qui ne croit plus en sa vérité, ni en son bien, ni en son héritage ne se défend pas. Elle s'excuse en attendant la fin.
Voilà ce qu'on a fait. Voilà ce qu'il faut nommer.
La bonne nouvelle, c'est qu'un virus mental ne survit que tant qu'on lui cède l'autorité du discours. Il meurt dès qu'on cesse de jouer son jeu. Dès qu'on réaffirme tranquillement qu'il existe une vérité, un beau, un bien, un héritage. Dès qu'on cesse de demander la permission aux déconstructeurs pour bâtir. Dès qu'on refait. Dès qu'on transmet. Dès qu'on crée.
Les bâtisseurs ont toujours le dernier mot sur les commentateurs. Toujours. Parce qu'à la fin il reste ce qui est construit, et rien de ce qui a été déconstruit.
Alors aujourd'hui je déconstruis la déconstruction. Et demain je construis.
Most places in Europe get this through the society. The social contact is what's important, not the religion. It's really difficult to communicate this, like explaining that the air is different - it's impossible until you experience a different environment.
I think a lot of the weirdness of American politics stems from this misunderstanding of what a "settled" society feels like (for lack of a better term). America feels very much like an experiment, a work in progress on the social fabric side. And I don't think it's a good thing (speaking as a fan of the US in general).