🖥️ Pitchoune

[🖥️ Pitchoune @Pitchounee_]

@GithubProjects @grok Not like Cedric

[🖥️ Pitchoune @Pitchounee_]

Après test de Julien avec @airfrance, test Cedric

[🖥️ Pitchoune @Pitchounee_]

Fait gaffe Cédric faut pas confondre la prod et staging #creditagricole

[🖥️ Pitchoune @Pitchounee_]

@Credit_Agricole @CreditAgricole

[Brivael Le Pogam @brivael]

Je l'avais dit il y a quelques semaines : la cybersécurité va vivre un reset complet.

Anthropic vient de leaker par accident Claude Mythos, leur modèle le plus puissant, et eux-mêmes admettent qu'il "pose des risques cyber sans précédent".

On revient dans les années 90. Les outils de défense actuels ne sont pas pensés pour des modèles capables de trouver et exploiter des vulnérabilités à une échelle industrielle.

Le problème c'est pas les GAFAM ou les labs. Eux ils vont s'adapter. Le problème c'est les 95% d'entreprises dont le DSI moyen n'a ni le budget, ni les compétences, ni la culture pour encaisser ce shift.

Et ça va mettre des années à se rééquilibrer. Comme à chaque révolution techno, les attaquants ont toujours une longueur d'avance sur les défenseurs.

Sauf que cette fois l'écart est en train de devenir un gouffre.

[Brivael Le Pogam @brivael]

Google vient de publier un papier qui compresse les LLMs à 3 bits. 8x plus rapide, 6x moins de mémoire. Zéro perte de performance 🤯🤯🤯

Le truc c'est que la méthode est élégante au point d'en être presque triviale une fois qu'on la comprend.

Ça s'appelle TurboQuant. Je vous vulgarise tout le paper :

Déjà, le problème de base.

Quand un LLM génère du texte, il doit se "souvenir" de tout ce qu'il a lu et écrit avant. Ce système de mémoire s'appelle le KV cache (key-value cache).

Imaginez un étudiant qui prend des notes ultra détaillées pendant un cours. Plus le cours est long, plus ses notes prennent de place sur son bureau. À un moment il n'a plus de place pour écrire.

C'est exactement ce qui se passe avec les LLMs : plus le contexte est long, plus le KV cache explose en mémoire. C'est un des plus gros bottlenecks de l'inférence aujourd'hui.

La solution classique c'est la quantization. L'idée est simple : au lieu de stocker chaque nombre avec une précision extrême (32 bits, genre 3.14159265...), tu le stockes avec moins de précision (4 bits, genre "~3").

C'est comme passer d'une photo RAW de 50 MB à un JPEG de 2 MB. Tu perds un peu de détail mais visuellement c'est quasi pareil.

Le problème c'est que les méthodes classiques de quantization trichent un peu. Pour chaque petit bloc de données compressé, elles doivent stocker des "constantes de calibration" en pleine précision.

C'est comme si pour chaque photo JPEG vous deviez garder un petit post-it en haute résolution à côté qui dit "voilà comment décoder cette image".

Ces post-its rajoutent 1 à 2 bits par nombre. Quand tu essaies de compresser à 2 ou 3 bits, cet overhead représente une part énorme de ta mémoire totale. Ça annule une bonne partie du gain.

TurboQuant résout ça en deux étapes.

Étape 1 : PolarQuant.

Au lieu de décrire un vecteur avec des coordonnées classiques (X, Y, Z), tu le convertis en coordonnées polaires : une distance + un angle.

C'est comme remplacer "va 3 rues à l'est puis 4 rues au nord" par "va 5 rues direction 37 degrés". Même info, format plus compact.

L'astuce c'est qu'avant de faire ça, tu appliques une rotation aléatoire sur tes vecteurs. Ça rend leur distribution prévisible et uniforme. Du coup tu n'as plus besoin de stocker les fameuses constantes de calibration, la géométrie fait le travail toute seule.

Étape 2 : QJL (Quantized Johnson-Lindenstrauss).

Après PolarQuant il reste une petite erreur résiduelle. QJL la corrige avec 1 seul bit par nombre.

Le principe vient d'un théorème mathématique qui dit qu'on peut projeter des données de haute dimension dans un espace plus petit tout en préservant les distances entre les points.

QJL pousse ça à l'extrême : il réduit chaque valeur projetée à juste son signe (+1 ou -1). Un seul bit. Et grâce à un estimateur spécial qui combine la query en haute précision avec ces données ultra compressées, le modèle calcule toujours des scores d'attention précis.

Les résultats sont assez dingues.

Sur les benchmarks long-context (LongBench, Needle in a Haystack, RULER...) avec Gemma et Mistral : zéro perte de performance à 3 bits. Le KV cache est réduit d'un facteur 6x. Et sur H100, le calcul des scores d'attention est jusqu'à 8x plus rapide qu'en 32 bits.

Le tout sans aucun fine-tuning ou entraînement supplémentaire. Tu branches, ça marche.

Et le plus intéressant : ça ne sert pas qu'aux LLMs.

TurboQuant surpasse aussi les méthodes state of the art en vector search, c'est à dire la techno qui permet de chercher par similarité dans des bases de milliards de vecteurs (ce qui fait tourner Google Search, les systèmes de recommandation, le RAG...).

Mon take : l'inférence c'est là où se joue la vraie bataille économique de l'AI.

Les marges de toute l'industrie dépendent du coût par token en production. Un gain de 6 à 8x sur la mémoire et la vitesse d'inférence, sans aucune perte de qualité, ça change fondamentalement l'équation.

Ce type de recherche ne fait pas de bruit sur Twitter mais son impact business est potentiellement supérieur à celui d'un nouveau foundation model.

[🖥️ Pitchoune @Pitchounee_]

@Jirayalecochon tout ça pour prendre des stuns avec Courbet, Arthur et Youn…

[SaltyAom @saltyAom]

I can finally use this picture

[🖥️ Pitchoune @Pitchounee_]

🚀 New project: Code Journey
Animate your code evolution step-by-step to level up your tech talks & demos.
✨ Built with React + TypeScript
🎨 Syntax highlighting
▶️ Auto-play, edit, add/remove steps
https://t.co/vCzg4g9AjQ

#DevTools #React #TypeScript #OpenSource

[🖥️ Pitchoune @Pitchounee_]

@ubuntu UwUbuntu of course

[🖥️ Pitchoune @Pitchounee_]

@jacques_web3 https://t.co/lcnnUtUtjU

[🖥️ Pitchoune @Pitchounee_]

#pokedle #smashdle #loldle #narutodle #onepiecedle #dotadle

https://t.co/y5PLH0DJdR

[🖥️ Pitchoune @Pitchounee_]

🤖 Bot open source qui répond juste "feur" dès que quelqu’un dit "quoi" sur Discord.

C’est inutile. Donc forcément indispensable.

⭐️ https://t.co/kCHrRTtV4L

#Discord #DiscordBot #OpenSource #feur #JS #NodeJS #MemeDev #DevHumor #ShitpostDev

[🖥️ Pitchoune @Pitchounee_]

@_devJNS Bruno and curl

[🖥️ Pitchoune @Pitchounee_]

@GithubProjects https://t.co/NvE96OuouM

[🖥️ Pitchoune @Pitchounee_]

@GithubProjects https://t.co/8L6HVs4jOL

[🖥️ Pitchoune @Pitchounee_]

@KirbyCheatFurby

[Peliès 🇵🇸 ( finito) @Pelies13600]

[ THREAD] Les tweets les plus racistes de ce réseau 2