GT

LFC 🐅

[Hustle Hard995 🇬🇪 @995HustleHard]

J'ai dm une racli elle m'a affiché en story

[Doug @DouglasAll]

acabei de ver Odisseia em uma sala comum e digo

[Uraharastudio @Uraharastudio]

This would be peak ending in the World Cup

[Kylian Mbappé @KMbappe]

Madame Celeste Amarilla,
Vous êtes une femme méprisable et indigne de sa fonction.
Vous ne représentez pas le Paraguay, ce pays qui a transpiré la passion et l’honneur tout au long de la compétition. Par votre inconscience et votre racisme décomplexé, le monde entier a déjà oublié le parcours et l’effort historique que vos joueurs ont réalisés durant cette coupe du monde pour laisser place à une dame incompétente donnant la pire image possible de son pays.
Je ne laisserai jamais aux gens comme elle, la liberté de laisser propager leur haine et leur racisme à travers le monde.

[okzaιαтє @okzalate]

Je ne remercierai jamais assez les journalistes sportifs suisses qui n'ont pas peur de dire les termes à chaque fois qu'il y a une situation qui en demande 👏👏 #FRAPAR

[Velicto⁴ @Velicto]

Première Worldcup avec la traduction automatique de Twitter on va assister à des dingueries entre des peuples qui n'auraient jamais dû interagir ensemble

[𝔇𝔧𝔦𝔟𝔦𝔫𝔥𝔬 🇨🇷 @DjibinhoPvris_]

C’est pour ce genre de tweets que j’ouvre Twitter ptdrrrr

[Faster Faster X 🇲🇦🪢 @FASTER1107]

Le message est toujours aussi puissant

[Janty @CFC_Janty]

Arsenal have done the impossible

They’ve made a PSG match boring.

[Paris Saint-Germain @PSG_inside]

Le Paris Saint-Germain remporte une deuxième Ligue des Champions consécutive et continue d’écrire sa légende, avec l’ensemble de ses supporters.

Le Paris Saint-Germain appelle chacun à vivre ce moment historique avec fierté, responsabilité et respect afin que cette célébration soit à l’image de cette saison exceptionnelle : populaire, unie et exemplaire.

[Liverpool FC @LFC]

Liverpool FC can confirm Arne Slot is to depart his role as head coach with immediate effect and that the process to appoint a successor is under way.

He leaves with a Premier League title to his name and our deepest gratitude and appreciation.

[Kevin @araxiis]

Le public de Roland Garros quand il commence à célébrer les fautes premier service de l’adversaire des français il est vraiment à son prime

[Actu Foot @ActuFoot_]

🚨 MOMENT D’ÉMOTIONS À ANFIELD ! ❤️🥹

L’ovation du public à la sortie de Mohamed Salah 🇪🇬 pour sa dernière sous le maillot des Reds.

🎥 @CanalplusFoot

[𝑆ℎ𝑒́𝑟𝑖𝑛𝑒 𝐹𝐶𝐵🦋 @elhajalisherine]

" Bellingham a donné un coup de pied à son coéquipier " PTDRRRRRRRRR

[Actu Foot @ActuFoot_]

Il ne restera plus que Alisson 🇧🇷 et Van Dijk 🇳🇱 (s’ils restent…) la saison prochaine à Liverpool. 😢

Ce XI en 2019… 🥵

[Gaetan Tout Simple. @GTSytb]

Ils se lèvent tous pour que Courtois puisse s’allonger.

[FB eye @StillFeechi]

Salah’s liverpool career

[Brivael Le Pogam @brivael]

Google vient de publier un papier qui compresse les LLMs à 3 bits. 8x plus rapide, 6x moins de mémoire. Zéro perte de performance 🤯🤯🤯

Le truc c'est que la méthode est élégante au point d'en être presque triviale une fois qu'on la comprend.

Ça s'appelle TurboQuant. Je vous vulgarise tout le paper :

Déjà, le problème de base.

Quand un LLM génère du texte, il doit se "souvenir" de tout ce qu'il a lu et écrit avant. Ce système de mémoire s'appelle le KV cache (key-value cache).

Imaginez un étudiant qui prend des notes ultra détaillées pendant un cours. Plus le cours est long, plus ses notes prennent de place sur son bureau. À un moment il n'a plus de place pour écrire.

C'est exactement ce qui se passe avec les LLMs : plus le contexte est long, plus le KV cache explose en mémoire. C'est un des plus gros bottlenecks de l'inférence aujourd'hui.

La solution classique c'est la quantization. L'idée est simple : au lieu de stocker chaque nombre avec une précision extrême (32 bits, genre 3.14159265...), tu le stockes avec moins de précision (4 bits, genre "~3").

C'est comme passer d'une photo RAW de 50 MB à un JPEG de 2 MB. Tu perds un peu de détail mais visuellement c'est quasi pareil.

Le problème c'est que les méthodes classiques de quantization trichent un peu. Pour chaque petit bloc de données compressé, elles doivent stocker des "constantes de calibration" en pleine précision.

C'est comme si pour chaque photo JPEG vous deviez garder un petit post-it en haute résolution à côté qui dit "voilà comment décoder cette image".

Ces post-its rajoutent 1 à 2 bits par nombre. Quand tu essaies de compresser à 2 ou 3 bits, cet overhead représente une part énorme de ta mémoire totale. Ça annule une bonne partie du gain.

TurboQuant résout ça en deux étapes.

Étape 1 : PolarQuant.

Au lieu de décrire un vecteur avec des coordonnées classiques (X, Y, Z), tu le convertis en coordonnées polaires : une distance + un angle.

C'est comme remplacer "va 3 rues à l'est puis 4 rues au nord" par "va 5 rues direction 37 degrés". Même info, format plus compact.

L'astuce c'est qu'avant de faire ça, tu appliques une rotation aléatoire sur tes vecteurs. Ça rend leur distribution prévisible et uniforme. Du coup tu n'as plus besoin de stocker les fameuses constantes de calibration, la géométrie fait le travail toute seule.

Étape 2 : QJL (Quantized Johnson-Lindenstrauss).

Après PolarQuant il reste une petite erreur résiduelle. QJL la corrige avec 1 seul bit par nombre.

Le principe vient d'un théorème mathématique qui dit qu'on peut projeter des données de haute dimension dans un espace plus petit tout en préservant les distances entre les points.

QJL pousse ça à l'extrême : il réduit chaque valeur projetée à juste son signe (+1 ou -1). Un seul bit. Et grâce à un estimateur spécial qui combine la query en haute précision avec ces données ultra compressées, le modèle calcule toujours des scores d'attention précis.

Les résultats sont assez dingues.

Sur les benchmarks long-context (LongBench, Needle in a Haystack, RULER...) avec Gemma et Mistral : zéro perte de performance à 3 bits. Le KV cache est réduit d'un facteur 6x. Et sur H100, le calcul des scores d'attention est jusqu'à 8x plus rapide qu'en 32 bits.

Le tout sans aucun fine-tuning ou entraînement supplémentaire. Tu branches, ça marche.

Et le plus intéressant : ça ne sert pas qu'aux LLMs.

TurboQuant surpasse aussi les méthodes state of the art en vector search, c'est à dire la techno qui permet de chercher par similarité dans des bases de milliards de vecteurs (ce qui fait tourner Google Search, les systèmes de recommandation, le RAG...).

Mon take : l'inférence c'est là où se joue la vraie bataille économique de l'AI.

Les marges de toute l'industrie dépendent du coût par token en production. Un gain de 6 à 8x sur la mémoire et la vitesse d'inférence, sans aucune perte de qualité, ça change fondamentalement l'équation.

Ce type de recherche ne fait pas de bruit sur Twitter mais son impact business est potentiellement supérieur à celui d'un nouveau foundation model.

[Ben Pescod @benpescod_]

Absolute icon. Never forget it.

#LFC

[marselle @yesnocse]

El grito