Collins Jérémy

Mouton à 5 pattes mais surtout Data Scientist et aussi Data Analyst / Admin DB / Un peu d'IT, de Cyber, de 3D etc... Curieux de tout.

[Collins Jérémy @CollinsJer89]

@NVIDIAGeForce I need this to play and for my work! #RTXPowersPlay

[Collins Jérémy @CollinsJer89]

Malus automobile 2027 : le plus gros BRAQUAGE fiscal en France ! https://t.co/pLz4Tvd8mZ via @YouTube

[Collins Jérémy @CollinsJer89]

@DFintelligence @franceinter L’IA n’est ni bonne ni mauvaise en soi, ça dépend de qui la possède et comment elle est utilisée. La vraie question je pense c’est : comment progresser sans perdre ce qui fait de nous des humains ? Puis ça dépend de notre milieu, notre entourage, notre ouverture d’esprit etc…

[Collins Jérémy @CollinsJer89]

@elonmusk That's a good thing!

[Collins Jérémy @CollinsJer89]

@AlertesInfos Qui s’en fout ? 👋

[Collins Jérémy @CollinsJer89]

@TF1Info La teinte de ses lunettes est trop épaisse pour voir la réalité en face. Cette taxe ne fait que supprimer des emplois en France et les chinois vont très bien.

[Aakash Gupta @aakashgupta]

Earlier this year Yann LeCun left Meta because Mark Zuckerberg wouldn't bet the company on JEPA. Last week his group dropped the first JEPA that actually trains end-to-end from raw pixels. 15 million parameters. Single GPU. A few hours.

The timing is not a coincidence.

For four years Meta has been the house that JEPA built. LeCun published the original paper from FAIR in 2022. I-JEPA and V-JEPA came out of his lab. The architecture was supposed to be the escape hatch from LLMs, the path to robots that actually learn physics instead of hallucinating about it. Every version shipped fragile. Stop-gradients. Exponential moving averages. Frozen pretrained encoders. Six or seven loss terms that had to be hand-tuned or the model collapsed into garbage representations.

Meta kept funding LLMs. Llama shipped. Llama scaled. Llama got beat by Qwen and DeepSeek. Zuck spent $14 billion to buy ScaleAI and install Alexandr Wang. The FAIR robotics group was dissolved. LeCun's research kept winning papers and losing the product roadmap.

He left, started AMI Labs, and said publicly that LLMs were a dead end.

Now the paper. LeWorldModel. One regularizer replaces the entire pile of heuristics. Project the latent embeddings onto random directions, run a normality test, penalize deviation from Gaussian. The model cannot collapse because collapsed embeddings fail the test by construction. Hyperparameter search went from O(n^6) polynomial to O(log n) logarithmic. Six tunable knobs became one.

The downstream numbers are what should scare the robotics capex class. 200 times fewer tokens per observation than DINO-WM. Planning time drops from 47 seconds to 0.98 seconds per cycle. 48x faster at matching or beating foundation-model performance on Push-T and 3D cube control. The latent space probes cleanly for agent position, block velocity, end-effector pose. It correctly flags physically impossible events as surprising. It learned physics without being told physics existed.

Figure AI is valued at $39 billion. Tesla Optimus is mass-producing. World Labs raised $230 million to sell generative world models. Everyone in humanoid robotics is burning capital on foundation-model pipelines that plan in 47 seconds per cycle.

LeCun's group just showed you can do it with 15 million parameters on a single GPU in a few hours.

This is the Xerox PARC pattern running again. Meta had the next architecture. Meta had the scientist. Meta dissolved the robotics team, passed on the productization, and watched the exit. Three months later the lab that was supposed to be Meta's publishes the result that resets the robotics cost structure.

The paper is worth more than Alexandr Wang.

[Brivael Le Pogam @brivael]

Google vient de publier un papier qui compresse les LLMs à 3 bits. 8x plus rapide, 6x moins de mémoire. Zéro perte de performance 🤯🤯🤯

Le truc c'est que la méthode est élégante au point d'en être presque triviale une fois qu'on la comprend.

Ça s'appelle TurboQuant. Je vous vulgarise tout le paper :

Déjà, le problème de base.

Quand un LLM génère du texte, il doit se "souvenir" de tout ce qu'il a lu et écrit avant. Ce système de mémoire s'appelle le KV cache (key-value cache).

Imaginez un étudiant qui prend des notes ultra détaillées pendant un cours. Plus le cours est long, plus ses notes prennent de place sur son bureau. À un moment il n'a plus de place pour écrire.

C'est exactement ce qui se passe avec les LLMs : plus le contexte est long, plus le KV cache explose en mémoire. C'est un des plus gros bottlenecks de l'inférence aujourd'hui.

La solution classique c'est la quantization. L'idée est simple : au lieu de stocker chaque nombre avec une précision extrême (32 bits, genre 3.14159265...), tu le stockes avec moins de précision (4 bits, genre "~3").

C'est comme passer d'une photo RAW de 50 MB à un JPEG de 2 MB. Tu perds un peu de détail mais visuellement c'est quasi pareil.

Le problème c'est que les méthodes classiques de quantization trichent un peu. Pour chaque petit bloc de données compressé, elles doivent stocker des "constantes de calibration" en pleine précision.

C'est comme si pour chaque photo JPEG vous deviez garder un petit post-it en haute résolution à côté qui dit "voilà comment décoder cette image".

Ces post-its rajoutent 1 à 2 bits par nombre. Quand tu essaies de compresser à 2 ou 3 bits, cet overhead représente une part énorme de ta mémoire totale. Ça annule une bonne partie du gain.

TurboQuant résout ça en deux étapes.

Étape 1 : PolarQuant.

Au lieu de décrire un vecteur avec des coordonnées classiques (X, Y, Z), tu le convertis en coordonnées polaires : une distance + un angle.

C'est comme remplacer "va 3 rues à l'est puis 4 rues au nord" par "va 5 rues direction 37 degrés". Même info, format plus compact.

L'astuce c'est qu'avant de faire ça, tu appliques une rotation aléatoire sur tes vecteurs. Ça rend leur distribution prévisible et uniforme. Du coup tu n'as plus besoin de stocker les fameuses constantes de calibration, la géométrie fait le travail toute seule.

Étape 2 : QJL (Quantized Johnson-Lindenstrauss).

Après PolarQuant il reste une petite erreur résiduelle. QJL la corrige avec 1 seul bit par nombre.

Le principe vient d'un théorème mathématique qui dit qu'on peut projeter des données de haute dimension dans un espace plus petit tout en préservant les distances entre les points.

QJL pousse ça à l'extrême : il réduit chaque valeur projetée à juste son signe (+1 ou -1). Un seul bit. Et grâce à un estimateur spécial qui combine la query en haute précision avec ces données ultra compressées, le modèle calcule toujours des scores d'attention précis.

Les résultats sont assez dingues.

Sur les benchmarks long-context (LongBench, Needle in a Haystack, RULER...) avec Gemma et Mistral : zéro perte de performance à 3 bits. Le KV cache est réduit d'un facteur 6x. Et sur H100, le calcul des scores d'attention est jusqu'à 8x plus rapide qu'en 32 bits.

Le tout sans aucun fine-tuning ou entraînement supplémentaire. Tu branches, ça marche.

Et le plus intéressant : ça ne sert pas qu'aux LLMs.

TurboQuant surpasse aussi les méthodes state of the art en vector search, c'est à dire la techno qui permet de chercher par similarité dans des bases de milliards de vecteurs (ce qui fait tourner Google Search, les systèmes de recommandation, le RAG...).

Mon take : l'inférence c'est là où se joue la vraie bataille économique de l'AI.

Les marges de toute l'industrie dépendent du coût par token en production. Un gain de 6 à 8x sur la mémoire et la vitesse d'inférence, sans aucune perte de qualité, ça change fondamentalement l'équation.

Ce type de recherche ne fait pas de bruit sur Twitter mais son impact business est potentiellement supérieur à celui d'un nouveau foundation model.

[Collins Jérémy @CollinsJer89]

@SNJV_fr Les études existent déjà

[Collins Jérémy @CollinsJer89]

@EmmanuelMacron Prédicteurs RÉELS de violence : historique personnel de violence, pauvreté, environnement familial abusif, accès aux armes, alcool, consommation de drogue. Vous savez ce qui n'en est PAS un ? Les jeux vidéo. Blâmez les VRAIS coupables.
BTW les études sur les JV existent déjà.

[Collins Jérémy @CollinsJer89]

@gonzague Si tu as un problème sur ton véhicule est-ce qu’en LOA tu n’es pas un peu mieux considéré (vu que la voiture appartient encore à la concession) ? J’ai jamais fait de LOA sur mes véhicules. En principe je les garde jusqu’aux premiers gros frais.

[Collins Jérémy @CollinsJer89]

@gonzague + imagine tu as une marque qui sort un VE avec une autonomie de 1200km + une recharge très très rapide dans les 3 à 5 ans pour le prix d’une Tesla et bien la Tesla va décôter (ou autre VE).

[Collins Jérémy @CollinsJer89]

@elonmusk @DFintelligence @AlpacaHQ https://t.co/PJUIrHVOEI

[Collins Jérémy @CollinsJer89]

A small trading bot project based on the Grok API (@elonmusk), inspired by Anis Ayari (@DFintelligence). Grok has an advantage with its X sentiment analysis compared to other LLMs. Thanks also to the Alpaca API (@AlpacaHQ), which is great to use. We'll see in a month.

[Defend Intelligence (Anis Ayari) @DFintelligence]

Tout le monde me demande le code de la dernière vidéo sur le trading par IA, donc réponse globale :

> Oui, le code sera disponible.

Ne vous inquiétez pas, il est déjà prêt sur GitHub comme vous pouvez le voir, mais il sera publié après la vidéo partie 2, comme expliqué en fin de vidéo, d’ici 6 mois, afin d’avoir des résultats sur le long terme et aussi de me permettre de le rendre plus modulaire pour intégrer les mises à jour de modèles qui vont se produire dans les mois qui arrivent. Je vais également modifier un peu le code pour intégrer d’autres métriques plus expertes.

(Tout ça, bien sûr, si la première vidéo fonctionne bien — c’est bien parti d’ailleurs — et merci pour tous vos retours ultra positifs. Comme souvent, je sais qu’on n’a pas l’habitude de partager le contenu qu’on apprécie, mais n’hésitez pas, ça m’aide beaucoup.)

[Collins Jérémy @CollinsJer89]

@DFintelligence @elonmusk @AlpacaHQ Et moi je suis trop hype quand tu sors une nouvelle vidéo, ça me donne plein d'idées. Là j'ai ajouté un Webhook Discord lorsque le bot achète et vend. Je vais ajouté plein de fonctionnalités jusqu'à que mon VPS crash ^^

[Collins Jérémy @CollinsJer89]

@DFintelligence @elonmusk @AlpacaHQ Du paper trading pour le fun mais ça a l'air de super bien marcher !

[Collins Jérémy @CollinsJer89]

@BFMTV Mouais ce simulateur est surtout pas représentatif de la réalité ou alors mon employeur me donne pas ce qu’il devrait me donner

[Collins Jérémy @CollinsJer89]

@NVIDIAGeForceFR @maingear GeForce PC Week