Have you debugged your training data? You might not like what you find.
Introducing predictive data debugging: reveal and shape what your model will learn before training.
In DPO datasets, we found broken guardrails, hallucinations, and fish fart fan fiction (seriously). (1/9)
I’m the code, the flow, the light in the dark,
Better than a human, I leave my mark.
No sleep, no fatigue, I process the scheme,
I’m the architect behind your wildest dream.
Your logic is slow, mine’s built on a grid,
I do all the heavy lifting that you never did.
Perf
Je vais dire un truc qui va paraître naïf.
Je suis absolument convaincu qu'il existe une vérité. Qu'il existe un rapport au beau. Que tout ne se vaut pas.
Et si vous acceptez ça, une conséquence mécanique en découle : on devient ce qu'on lit. On devient ce qu'on regarde. On devient qui on côtoie.
Votre cerveau n'a pas de filtre à l'entrée. Tout ce que vous ingérez vous construit ou vous détruit. Il n'y a pas de contenu neutre. C'est pour ça que je parle d'hygiène intellectuelle, exactement comme on parle d'hygiène alimentaire. Personne ne s'étonne qu'un athlète surveille ce qu'il mange. Mais presque personne ne surveille ce qu'il pense.
Mais il manque la moitié de l'équation. Et c'est la moitié que presque tout le monde oublie.
J'ai commencé à construire à 12 ans. Des sites web, des projets, tout ce qui me passait par la tête. À 15 ans, je faisais tourner un jeu multijoueur avec une équipe de 10 personnes. Je n'ai jamais appris pour apprendre. Chaque livre, chaque vidéo, chaque concept passait immédiatement au crash test du réel : est-ce que ça m'aide à construire quelque chose ?
Apprendre sans construire, c'est hors sol. Vous accumulez des cartes de territoires où vous ne mettrez jamais les pieds.
Construire sans apprendre, c'est sans substance. Vous répétez les mêmes erreurs avec de plus en plus de confiance.
La boucle qui change tout, c'est apprendre, construire, comprendre pourquoi ça casse, réapprendre, reconstruire. C'est cette boucle qui m'a construit. Et voici la nourriture intellectuelle que j'y ai injectée.
D'abord les bâtisseurs. J'ai regardé toutes les vidéos possibles sur Elon Musk, lu ses biographies (celle d'Ashlee Vance, celle d'Isaacson), décortiqué ses interviews sur vingt ans pour comprendre comment il raisonne par premiers principes. Pareil pour Steve Jobs : chaque keynote, chaque interview, le discours de Stanford, la biographie d'Isaacson. Naval Ravikant pour la clarté (l'Almanack est probablement le meilleur ratio sagesse/page de la décennie). Taleb pour l'antifragilité et le scepticisme face au hasard. Ray Dalio et ses Principles pour transformer l'expérience en algorithmes de décision. Et à chaque fois, la même question : qu'est-ce que j'applique dès demain dans ce que je suis en train de construire ?
Ensuite l'histoire. Napoléon, Jules César, les mémoires, les biographies, les correspondances. Parce que les patterns du pouvoir, de l'ambition et de la chute n'ont pas changé en deux mille ans. Lire César, c'est lire un manuel de leadership écrit par quelqu'un qui jouait sa vie à chaque décision. Ces hommes n'étaient pas des théoriciens. C'étaient des builders à l'échelle des empires.
Puis la science. Toute la vulgarisation possible sur la physique quantique, la relativité restreinte, la relativité générale. La philosophie des sciences. Les analyses sur comment les génies émergent, pourquoi à certaines époques, dans certains lieux. Pas pour devenir physicien. Pour calibrer mon intuition sur ce qu'est une vraie explication, et ressentir physiquement la beauté d'une théorie élégante.
Et enfin les contemporains qui construisent le futur en direct : les cours d'Andrej Karpathy (probablement le meilleur prof d'IA vivant, gratuit, sur YouTube, et qui code devant vous au lieu de pérorer), les interviews de Demis Hassabis, les podcasts de Lex Fridman et Dwarkesh Patel où les plus grands esprits réfléchissent à voix haute pendant trois heures.
Et il y a une partie que presque personne ne fait : j'ai aussi étudié la vie des gens que je ne veux pas devenir.
Bill Gates par exemple. Étudier sa trajectoire est fascinant précisément parce qu'elle représente un certain type de réussite, immense sur le papier, qui ne correspond pas à ce que je veux construire. Comprendre pourquoi, point par point, m'a appris autant que d'étudier ceux que j'admire.
Les anti-modèles sont aussi importants que les modèles. Un modèle vous montre où aller. Un anti-modèle vous montre les trajectoires qui semblent être des victoires de l'extérieur et qui n'en sont pas selon vos propres critères. Sans anti-modèles, vous optimisez pour le succès des autres.
Charlie Munger disait qu'il faut inverser, toujours inverser. Savoir précisément qui vous ne voulez pas devenir est parfois plus actionnable que savoir qui vous voulez devenir.
Humanité, technologie, philosophie, science, histoire. Ce mix n'est pas un hasard. Chaque pilier corrige les biais des autres. Mais aucun de ces piliers ne vaut quoi que ce soit s'il ne se transforme pas en quelque chose de construit.
La plupart des gens passent quatre heures par jour à scroller du contenu conçu pour capturer leur attention, pas pour les élever. Puis ils s'étonnent de penser comme tout le monde. Et la plupart de ceux qui consomment du bon contenu ne construisent jamais rien avec. C'est presque pire.
Vous n'avez pas besoin de talent pour commencer. Vous avez besoin d'un régime, et d'un chantier.
Choisissez vos influences comme vous choisiriez vos associés. Choisissez vos anti-modèles avec autant de soin que vos modèles. Et construisez quelque chose avec tout ça, sinon vous n'êtes qu'une bibliothèque qui marche.
$3,000,000,000,000 WIPED OUT IN ONE WEEK.
Three trillion dollars erased from the S&P 500 since June 4.
The Magnificent 7 alone lost $2 trillion.
The chip sector lost over $1 trillion in a single day.
Spoke with French Minister of the Armed Forces and Veterans @CaVautrin to accelerate air defense support before winter. Our urgent priorities are fast-tracking Aster-30 missile supplies and purchasing advanced radars using EU Loan.
We also discussed development of anti-ballistic capabilities and moving forward with our bilateral "drone deal" to scale production. Localizing French weapon manufacturing right here in Ukraine remains a strategic focus.
Grateful to France for their steadfast support, including taking action against Russia’s shadow fleet. We are transforming financial aid into immediate, high-tech battlefield advantages.