🚨 Anthropic just showed a 27-minute workshop on how to actually do prompts for Claude.
Taught by the people who built it.
Free. No registration. No paywall.
I've seen $300 courses that don't cover what they teach in the first 8 minutes.
Watch the session, then read the guide on building loops below.
Laisser tomber une boule de bowling et des plumes dans la plus grande chambre à vide du monde prouve que Galilée avait raison. Dans le vide, tous les objets tombent à la même vitesse, quelle que soit leur masse @curiosityonx
ELON MUSK: "We see a path to putting 100 gigawatts per year of solar-powered AI satellite into orbit. And having this be actually the lowest cost way to power and operate AI at a very large scale
For reference, the United States consumes roughly 460 gigawatts on average per year. Because the average power load in the US is 460 gigawatts"
Jeff Bezos confirme que New Glenn a volontairement visé à côté de la barge pour éviter de l'abimer en cas de perte moteur, d'où la grosse manœuvre de hovering avant l'atterrissage.
Ils viseront directement la barge une fois le lanceur fiabilisé.
You can now run 100B parameter models on your local CPU without GPUs.
Microsoft finally open-sourced their 1-bit LLM inference framework called bitnet.cpp:
> 6.17x faster inference
> 82.2% less energy on CPUs
> Supports Llama3, Falcon3, and BitNet models
Depuis quelques jours, on entend beaucoup parler de projets de construction "Datacenters 1GW" pour l'IA en France
Pour bien comprendre le besoin, il faut bien avoir en tête ces 3 chiffres suivant:
il faut 50Me, pour investir dans 1000 GPU qui vont fonctionner dans un Datacenter consommant 1MW de puissance électrique
Ces 3 chiffres fonctionnent ensemble sur plusieurs niveaux de scale:
50Me - 1k GPU - 1MW
500Me - 10k GPU - 10MW
5Mde - 100k GPU - 100MW
50Mde - 1M GPU - 1GW
80% de ces montants servent à acheter les GPUs, 20% pour construire un Datacenter
Pour quel besoin ? Les GPUs sont utilisés pour 2 types d'usage:
- l'entrainement et donc la création d'un modèles LLM avec les données (training)
- l'utilisation d'un modele LLM existant par les clients (inference)
Les générations de GPUs actuellement disponibles sur le marché permettent de faire l'entraînement sur environ 100K GPU en fonctionnant ensemble. Le facteur limitant est la distance entre les 2 GPUs les plus éloignés physiquement : à partir d'un certain nombre de GPU connectés ensemble, la distance fait ralentir le fonctionnement de l'ensemble de GPUs
C'est pourquoi pour le besoin de l'entrainement, une nouvelle génération de GPUs arrive sur le marché: les superchip. Au lieu d'avoir des dizaines de GPU indépendants que vous connectez en suite ensemble, chaque superchip regroupe une dizaines de GPUs sur une seule carte. Bravo ! Vous avez réduit la distance entre les GPUs et vous pouvez connecter désormais 10 fois plus de GPUs ensemble sans ralentir le tout. En revanche, vous avez de nouveaux défis à résoudre: comment distribuer l'énergie et refroidir une infrastructure 10 fois plus dense Comment vous procurer une source d'énergie de 1GW et comment assurer sa redondance
Pour héberger la puissance de calcul dans un Datacenter, on utilise les baies aka les racks, qui est une sorte d'armoire de 0,6m de large, 1m de profondeur et 2.5m de hauteur. Chaque baie est alimentée avec environ 20KW de puissance électrique. Pour la refroidir, on utilise de l'air frais qu'on pousse à travers la baie
Si on veut utiliser plus que 20KW dans une baie, l'air ne suffit pas pour la refroidir. Il faut passer en watercooling. C'est là qu'on commence à parler de la nouvelle génération de Datacenter et dans certains cas on parle de 1GW. En effet, pour héberger les superchip, on parle désormais de baies à 120KW voir meme on spécule sur 240KW par baie et un système de watercooling pour capturer et extraire toute cette chaleur. C'est totalement nouveau par la puissance par baie mais aussi par ce système de refroidissement watercooling at scales. Voilà pourquoi ce genre de Datacenter n'existent pas et donc faut les construire
Pour l'usage d'inférence, il n'y a pas besoin de Datacenters aussi sophistiqués. Pas besoin de superchip non plus. Un modèle LLM a besoin d'un système de GPU qui consomme entre 100W et 10KW, rarement 20KW, equivalent de 1 à 16 GPU. Chaque système étant indépendant, vous pouvez mettre autant de systèmes en parallèle que vous voulez, ce qui vous permet d'absorber un grand traffic web ou mobile. Il est même préférable d'avoir plusieurs Datacenters d'Inference, en parallèle et pourquoi pas 1 par pays. Cela permet d'assurer la haute disponibilité, et les faibles latences en utilisant Datacenter le plus proche du visiteur
Et OVHcloud dans tout ca ? Nous possédons plus de 40 Datacenters, dans plusieurs pays en Europe, au Canada, en Amérique du Nord, et Asie. Nous sommes experts de watercooling depuis plus de 20 ans. Ceci nous permet de refroidir >500K serveurs physique dans tous nos Datacenters. Nos technos interne, opensourcées, coutent 20x à 40x moins que les solutions du marché. Nous possédons les Datacenters de 40MW à 100MW, capable d'héberger de l'entrainement, avec de baies à 40KW mais aussi nous avons les Datacentres partout dans le monde pour assurer l'inference. Nos investissements suivent les besoins de nos clients et nous sommes capable d'accélérer si necessaire
On voit bien que pris dans un mouvement phugoïde certainement par manque d'hydraulique, l'équipage s'est battu jusqu'au bout... #J28243#AzerbaijanAirlines#PlaneCrash
https://t.co/orKT8gzkog
Azerbaijan Airlines Flight J28243 tragic Crash : What do we know so far ?
- No official (preliminary) details have been released by a competent authority on the details of circumstances of the crash.
- Azerbaijan Airlines Flight J28243, operated by an Embraer ERJ-190 aircraft (4K-AZ65), crashed near Aktau Airport, Kazakhstan.
- The 2013 built Embraer E190AR aircraft powered by GE CF34-10E6 engines, was flying from Baku (GYD) to Grozny.
- The flight departed Baku at 03:55 UTC enroute to Grozny.
- GPS jamming disrupted ADS-B signals at 04:40 UTC, briefly resumed at 06:07 UTC before the crash at 06:28 UTC.
- At least 38 occupants lost life in the crash, including the two pilots. At least 32 others survived the accident.
- As per the sources and evidences available so far, the pilots attempted to land at Grozny (GRV) two times but failed.
- Later, during the third attempt, there was an external explosion and a piece of shrapnel penetrated the fuselage.
- Shrapnel also damaged one of the left flap fairings along with aircraft's empennage, horizontal and vertical stabilizers.
- The aircraft did not crash due to the external explosion, which could be an anti-aircraft fire, but flew over the Caspian Sea and pilots tried their best to control the attitude of the aircraft.
- During the last 74 minutes of the flight, the vertical speed oscillated between positive and negative values more than 105 times (values range from -8300 to +8300 feet per minute), which indicated control issues.
- Azerbaijan Airlines Statement : "Today is a tragic day for AZAL. We extend our deepest condolences with profound sorrow to the families and loved ones of the passengers and crew members who lost their lives in the crash of the Embraer-190 aircraft near the city of Aktau. We pray for God's mercy upon them. Their pain is our pain. We wish a speedy recovery to the injured."
Flight: https://t.co/iEwnpEe3Ta
🎥 Credit: Gokhan Karalar M.D.
@gokhankaralar
#aircraft #accident
Latest visuals from the wreckage of the aircraft shows the Azerbaijan Airlines Embraer ERJ-190AR (
4K-AZ65) passenger plane was hit by projectiles/Gun shots during the flight.
Aircraft was traveling from Baku to Grozny crashes near Aktau, Kazakhstan.
#aircraft#accident