Louis // Scorfly

🏡 Software Developer
🎲 Casual Overwatch // Valorant gamer
🐱 Father of 3 cats

[Teufzer TV @teufzertv]

Teuf est vraiment l’homme qu’il pense être 🙏❤️

[Louis // Scorfly @Scorfly]

15 years at @OVHcloud... what a ride! Thank you @olesovhcom for this enriching experience. Ready for new adventures, but I’ll be watching closely👀I know the future is bright for you.📈 «Can’t stop🎵»✨

[Louis // Scorfly @Scorfly]

3/10

[Louis // Scorfly @Scorfly]

Target: 10 books this year.

First one done !

[Louis // Scorfly @Scorfly]

2/10

[Octave Klaba @olesovhcom]

Depuis quelques jours, on entend beaucoup parler de projets de construction "Datacenters 1GW" pour l'IA en France

Pour bien comprendre le besoin, il faut bien avoir en tête ces 3 chiffres suivant:

il faut 50Me, pour investir dans 1000 GPU qui vont fonctionner dans un Datacenter consommant 1MW de puissance électrique

Ces 3 chiffres fonctionnent ensemble sur plusieurs niveaux de scale:
50Me - 1k GPU - 1MW
500Me - 10k GPU - 10MW
5Mde - 100k GPU - 100MW
50Mde - 1M GPU - 1GW

80% de ces montants servent à acheter les GPUs, 20% pour construire un Datacenter

Pour quel besoin ? Les GPUs sont utilisés pour 2 types d'usage:
- l'entrainement et donc la création d'un modèles LLM avec les données (training)
- l'utilisation d'un modele LLM existant par les clients (inference)

Les générations de GPUs actuellement disponibles sur le marché permettent de faire l'entraînement sur environ 100K GPU en fonctionnant ensemble. Le facteur limitant est la distance entre les 2 GPUs les plus éloignés physiquement : à partir d'un certain nombre de GPU connectés ensemble, la distance fait ralentir le fonctionnement de l'ensemble de GPUs

C'est pourquoi pour le besoin de l'entrainement, une nouvelle génération de GPUs arrive sur le marché: les superchip. Au lieu d'avoir des dizaines de GPU indépendants que vous connectez en suite ensemble, chaque superchip regroupe une dizaines de GPUs sur une seule carte. Bravo ! Vous avez réduit la distance entre les GPUs et vous pouvez connecter désormais 10 fois plus de GPUs ensemble sans ralentir le tout. En revanche, vous avez de nouveaux défis à résoudre: comment distribuer l'énergie et refroidir une infrastructure 10 fois plus dense Comment vous procurer une source d'énergie de 1GW et comment assurer sa redondance

Pour héberger la puissance de calcul dans un Datacenter, on utilise les baies aka les racks, qui est une sorte d'armoire de 0,6m de large, 1m de profondeur et 2.5m de hauteur. Chaque baie est alimentée avec environ 20KW de puissance électrique. Pour la refroidir, on utilise de l'air frais qu'on pousse à travers la baie

Si on veut utiliser plus que 20KW dans une baie, l'air ne suffit pas pour la refroidir. Il faut passer en watercooling. C'est là qu'on commence à parler de la nouvelle génération de Datacenter et dans certains cas on parle de 1GW. En effet, pour héberger les superchip, on parle désormais de baies à 120KW voir meme on spécule sur 240KW par baie et un système de watercooling pour capturer et extraire toute cette chaleur. C'est totalement nouveau par la puissance par baie mais aussi par ce système de refroidissement watercooling at scales. Voilà pourquoi ce genre de Datacenter n'existent pas et donc faut les construire

Pour l'usage d'inférence, il n'y a pas besoin de Datacenters aussi sophistiqués. Pas besoin de superchip non plus. Un modèle LLM a besoin d'un système de GPU qui consomme entre 100W et 10KW, rarement 20KW, equivalent de 1 à 16 GPU. Chaque système étant indépendant, vous pouvez mettre autant de systèmes en parallèle que vous voulez, ce qui vous permet d'absorber un grand traffic web ou mobile. Il est même préférable d'avoir plusieurs Datacenters d'Inference, en parallèle et pourquoi pas 1 par pays. Cela permet d'assurer la haute disponibilité, et les faibles latences en utilisant Datacenter le plus proche du visiteur

Et OVHcloud dans tout ca ? Nous possédons plus de 40 Datacenters, dans plusieurs pays en Europe, au Canada, en Amérique du Nord, et Asie. Nous sommes experts de watercooling depuis plus de 20 ans. Ceci nous permet de refroidir >500K serveurs physique dans tous nos Datacenters. Nos technos interne, opensourcées, coutent 20x à 40x moins que les solutions du marché. Nous possédons les Datacenters de 40MW à 100MW, capable d'héberger de l'entrainement, avec de baies à 40KW mais aussi nous avons les Datacentres partout dans le monde pour assurer l'inference. Nos investissements suivent les besoins de nos clients et nous sommes capable d'accélérer si necessaire

[Octave Klaba @olesovhcom]

La France souhaite devenir le fournisseur de l’IA en Europe et au-delà. C’est grâce aux atouts que les autres n’ont pas : la France dispose de pas mal d’énergie propre grâce au nucléaire, on a un écosystème de boites dans l’IA qui créent de produits qui marchent vraiment (pas encore de revenue, mais ça va venir) et les gens qualifiés pour développer les produits IA. Il faut utiliser tous ces atouts pour créer, dans plusieurs années, le business d’exportation de plusieurs Milliards par mois dans l’IA.

Le seul souci est que la France ne dispose pas d’assez d’argent pour investir au bon niveau mais c’est pareil dans tous les pays en Europe. En plus, dans ce type d’investissement, l’argent public n’est pas vraiment la solution car au lieu de concentrer beaucoup d’argent sur peu de projets, les États aiment investir équitablement entre tous les projets et donc finalement investir peu par projet et donc avec peu d’impact.

Investir dans quoi ?

En Europe, il y a déjà plusieurs entreprises qui créent le software, le LLM. Ces boites-là ont le défi de rendre rentable leurs investissements et cela passent par la création d’une base de clients qui vont payer 10e-20e-50e-100e par mois comme le fait OpenIA, Microsoft, Google, X, Anthropic.

Tous ces projets ont besoin de la puissance de calcul pour entrainer les algorithmes sur les données (training) et de la puissance de calcul pour faire en suite tourner le software (inférence). Il faut donc du Cloud. Les investissements dans les Datacentres et les GPUs sont tellement importants et tellement risqués qu’on parle souvent de liens capitalistiques entre ces 2 mondes : Microsoft a investi dans OpenIA, AWS a fait la même chose avec Anthropic. Une autre solution c’est celle de Meta, Google et X qui ont choisi de faire les 2 en même temps. Tout ceci se passe en Amérique du Nord.

Les annonces d’investissement qu’on entend depuis quelques jours sont là pour créer de capacité de calcul en France, pour l’Europe. Les boites privées vont construire les Datacentres, les bâtiments, dans lesquels les GPUs vont fonctionner. Aussi, dans certaines annonces, on nous parle aussi des investissements dans les GPUs, mais ce n'est pas le cas de tous. Pourtant, l’investissement dans le Datacentre ne représente que 20% de sommes nécessaires et il faut encore prévoir 80% pour les GPUs. A la fin, ce sont quand même les GPUs qui vont être loués soit aux fournisseurs du Cloud soit aux clients finaux. Une sorte de grossiste de GPUs.

C’est beaucoup d’argent, tout le monde ne gagnera pas d’argent sur ces GPUs et certainement pas avant plusieurs années. Mais demain tout le monde utilisera l’IA et donc il faudra disposer de GPUs pour la faire tourner. Toutes ces annonces sont donc une excellente chose pour l’Europe et définitivement pour la France.

Et OVHcloud dans tout ca ? Nous sommes un fournisseur de Cloud. Comme tous nos concurrents, notre rôle n’est pas d’entrainer notre propre modèle LLM. Nous proposons à nos clients les services Cloud, y compris les LLMs opensources qu’ils peuvent utiliser très simplement via les APIs. On bosse aussi sur le projet comme Omisimo avec Qwant qui assemble plusieurs LLMs opensource pour faire une API complète, le meilleur de l'opensource. Nous disposons de plusieurs très grand Datacentres en Europe et au Canada, entre 40MW et 100MW chacun, et nous sommes capable d’ajouter plusieurs 100K de GPU en plus à n’importe lequel moment. Nos investissements dans les GPUs suivent la demande de nos clients. Nous sommes très heureux de tout ce qui va se passer en France. Une excellente promesse Européenne.

[Louis // Scorfly @Scorfly]

@WHOOP Hello, I want to display the heartbeat from my whoop watch on my twitch/kick live stream.
Is there a possibility to get the statistics in live with your solution ?

[Louis // Scorfly @Scorfly]

@KRL_STREAM 5K par joueur, 5 joueurs sur 12 mois, t'es à 300K.
Tu ajoutes un minimum de coaching staff, les charges patronales et certainement des à-côtés (déplacements, setup, …). On arrive facilement entre 700K / 1 million à l'année, non ?

[Louis // Scorfly @Scorfly]

@teufeurs «Everything Men Can Say to Women Without Offending Them» , «Le Pouvoir rhétorique: Apprendre à convaincre et à décrypter les discours», «Une terre promise»

[Louis // Scorfly @Scorfly]

@teufeurs Regarde quelque interview de @MaximeMusqua ou alors sa video : https://t.co/Swka711yzY

Je suis souvent celui qui conduit et ne pas boire ne me dérange pas du tout, avec ou sans alcool toujours sur le dancefloor (sans savoir danser xD).

[Louis // Scorfly @Scorfly]

@Nealle_ Ah bah le voilà mon petit thread :D

Dans quelle galère tu t'es mise … En tout cas bon courage à toi !

[Louis // Scorfly @Scorfly]

@Nealle_

[Louis // Scorfly @Scorfly]

@Nealle_

[Louis // Scorfly @Scorfly]

@Shewbeh Tu nous tease mais tu montre rien … ça dégoute … 🙄

[Octave Klaba @olesovhcom]

Encore un peu et on va passer la frontière de « Leaders ». Il faut continuer à bosser.

[Louis // Scorfly @Scorfly]

@CoinbaseSupport I can't verify my address. When I upload the file I always have the error : «Something went wrong, please try again.» I tried many time since yesterday.

[Louis // Scorfly @Scorfly]

@alexsoyes Merci à toi pour l'article très complet !
On utilise le DDD dans mon équipe depuis un moment mais ça fait un bien fou de relire un peu tout ça et remettre en question les choix que l'on a fait.

[Louis // Scorfly @Scorfly]

DDD : Domain-Driven Design (patterns techniques stratégiques) par @alexsoyes https://t.co/cvnWsas6f9

[Louis // Scorfly @Scorfly]

@Shewbeh Nay