OVH annonce Olala mini 7A1B
OVH sa première famille de LLM. Premier représentant de cette famille, Olala mini 7A1B est un modèle compact bâti sur une architecture inédite.
Olala : le modèle innovant dans l’attention hybride
Olala mini repose sur une architecture de 7 milliards de paramètres (7B) avec un milliard activés répartis entre 256 experts par couche, l’attention hybride avec Differential-TPA et Mamba-3, au format BF16. Seule une fraction du modèle est sollicitée à chaque requête, ce qui le rend plus rapide et moins gourmand en mémoire. Conséquence directe: le modèle fonctionne sur un GPU doté d’un minimum de 8 Go de mémoire, il atteint 160 tokens par seconde sur une RTX A4500, et même sans GPU, sur un simple processeur, à 50 tokens par seconde. Sa fenêtre de contexte atteint aujourd’hui 32 000 tokens. Olala mini sera disponible en open source sur Hugging Face, sous licence Apache 2.0.
Entraîné avec l’aide publique européenne et en fonctionnement chez Qwant
Olala mini a été entraîné sur trois supercalculateurs publics européens, Jupiter, MeluXina et Jean Zay, équipés de GPU GH200, A100 et H100. Ce soutien, qui représente l’équivalent de 7 M€ en heures de calcul, a été déterminant, et OVH tient à en remercier les pouvoirs publics. L’initiative publique s’est révélée un succès à plus d’un titre : elle a fait émerger une équipe d’exception en intelligence artificielle et a donné naissance au Lab Agentique d’OVH: OVHai LLM. Olala mini est publié avec ses poids, son modèle de base pré-entraîné, son rapport technique et sa documentation de conformité à l’AI Act. Qwant l’a déjà adopté pour sa fonctionnalité de réponse flash, avec des gains significatifs : des réponses 20 % plus rapides et des coûts de fonctionnement divisés par trois par rapport au modèle précédemment utilisé.
En route vers la v1.1, puis la v2.0
Attendue d’ici la fin de l’année, la version 1.1 portera la fenêtre de contexte à 128 000 tokens et améliorera ses performances en raisonnement mathématique. Avec la version 2.0, OVHai LLM entend développer des modèles spécialisés dans trois domaines. D’abord, l’agentique pour les entreprises : à terme, Olala alimentera OVHai Workspace, dont la version chiffrée nécessitera des modèles capables de tourner en local, directement sur le poste de travail. Ensuite, le DevOps cloud, avec des déclinaisons adaptées aux développeurs, aux architectes et aux équipes d’exploitation qui assurent la continuité de service 24h/24. Enfin, la cybersécurité, dans ses volets défensif comme offensif. Olala v2.0 dépassera les 100 milliards de paramètres.
https://t.co/3QlWMzfpkk
Les ami·e·s le #DebriefDuDimanche semaine 3 est arrivé ! Du haut niveau et on a même échangé avec un astronaute 🙂
La semaine prochaine stage de résilience dans la nature, hâte de vous en parler. 🌳
#OneStepIntoSpace
https://t.co/YVtWoBYyU4
L’ancien maire de Levallois-Perret Patrick Balkany et sa femme Isabelle ont été expulsés du moulin de Giverny, dans l’Eure, leur résidence principale depuis plusieurs années, et confisquée par la justice.
«Une situation inhumaine», dénonce leur avocat ➡️ https://t.co/BWAjzc69Wy
Ce mardi 10 novembre dans le #20H de @TF1
🗣️ Éric Zemmour (@ZemmourEric), président du parti "Reconquête!", sera l'invité du journal de 20H
Il répondra en direct aux questions de @GillesBouleau
Présidentielle 2027 : Glucksmann assure qu’il va « mettre fin » à l’« hégémonie culturelle, idéologique et politique » de Mélenchon sur la gauche → https://t.co/ei1gaTWfOD
La résignation n'est pas une option. Face aux difficultés de notre pays, l'heure est venue de prendre ses responsabilités. Je suis candidat à l'élection présidentielle de 2027. #TeddyRiner2027#Présidentielle2027#LaFrancequonveut