Dadidoo

[MBZUAI @mbzuai]

Today, we are releasing a new version of K2 (K2-V2), a 360-open LLM built from scratch as a superior base for reasoning adaptation, while still excelling at core LLM capabilities like conversation, knowledge retrieval, and long-context understanding.

K2 fills a major gap: highly capable models with no transparency. Instead of releasing only weights, we’re sharing the full training story — dataset recipes, mid-training checkpoints, logs, code, and evaluation tools. That’s 360-open.

What’s inside:
• 70B dense transformer engineered as a reasoning-enhanced base model
• Native 512K context (extendable via RoPE scaling)
• Mid-training reasoning phase
• Strong tool-use scaffolding

What we’re open-sourcing:
• 250M+ reasoning traces (math, planning, multi-step logic)
• Full pre- & mid-training data compositions
• All mid-training checkpoints
• Training logs, code, Eval360

Performance:
• GPQA-Diamond: 55.1% mid-training → 69.3% after SFT (strongest fully open 70B model)
• KK-8 Logic Puzzles: 83% — competitive with DeepSeek-R1 & OpenAI o3-mini-high
• ArenaHard V2: 62.1% — close to Qwen3 235B
• Outperforms Qwen2.5-72B and approaches Qwen3-235B despite being smaller and fully transparent.

🔗 The Model:
https://t.co/gsjRUwfnvN

🔗Technical Report:
https://t.co/oFZQuLQaNg

🔗Blog:
https://t.co/zQdpmLgEUt

[Helen Tianyue Zhang @HelennnnnnZhang]

🚨 New paper!
“Understanding Adam Requires Better Rotation-Dependent Assumptions.”
Come check out our poster at @NeurIPSConf, or DM me if you would like to chat!
📅 Wednesday, December 3
🕐 4:30 PM PST
📍Exhibit Hall C,D,E #908

[Dadidoo @Circuz_dadidoo]

@borisdayma What happens to the stability wrt to LR if you e.g., x4 the batch size?

[Dadidoo @Circuz_dadidoo]

@borisdayma The relative overhead (compared to fwd-bwd) of Muon and other matrix-level preconditioners is typically in O(width/batch_size). It's great for LLMs and their millions of tokens per batch, and less clearly viable for other applications. And it's probably the same for stability

[Dadidoo @Circuz_dadidoo]

@CarmineSabia @elonmusk Is this satire 😂 ? Jobs and Sagan were both educated under the fed department of health, education and healthcare. Curie, Tesla and Einstein were all educated in Europe 🤡. Oppenheimer credited his early successes to learning from German and French physicists. Nice même tho

[Dadidoo @Circuz_dadidoo]

@lio_train_sncf @SNCFVoyageurs C'est compris, merci!

[Dadidoo @Circuz_dadidoo]

@lio_train_sncf Si la SNCF ne peut pas me proposer d'alternative pour me rendre de ma gare de départ jusqu'à ma connexion, il me paraît logique que je me fasse ad minima rembourser l'intégralité de mon trajet, correspondance OuiGo inclus. Ce sera bien le cas ?

[Dadidoo @Circuz_dadidoo]

@lio_train_sncf Je n'ai pas de voiture ou de moyen de me rendre à Narbonne dans ces délais. Par ailleurs, le lien que vous m'avez envoyé dit n'être valide que pour un voyage 100% TER. Mais 90% du prix de mon billet est la connexion Ouigo...

[Dadidoo @Circuz_dadidoo]

@lio_train_sncf J'ai essayé d'appeler au moins 3 numéros différents mais n'ai pas pu avoir d'interlocuteur ou d'informations utile. Le site internet mentionne le problème mais ne propose aucune solution

[Dadidoo @Circuz_dadidoo]

@lio_train_sncf Bonjour, mon train 86966 de port la nouvelle à Montpellier pour 12:41 a été annulé. J'ai ensuite une connexion Ouigo à Montpellier, donc je ne peux pas décaler mon trajet. L'appli mentionne des "bus de substitution" mais donne 0 informations à leur sujet.

[Dadidoo @Circuz_dadidoo]

@BouBbox @LawnDamn @CzDerekao Le E de Hecarim sert à aller mourir plus vite right ?

[Dadidoo @Circuz_dadidoo]

@SashaMTL This relationship is the true proof of your french identity

[Dadidoo @Circuz_dadidoo]

@p_sim0n Bon après moi je vis dans un pays où on coupe jamais pendant l'hiver sinon les canalisations gèlent

[Dadidoo @Circuz_dadidoo]

@p_sim0n Selon les cas c'est pas toujours rentable de couper le chauffage pendant la journée. Quand tu rentres et remets le chauffage si y'a trop d'écart il va carburer pour remonter et ça peut dépasser les économies

[Dadidoo @Circuz_dadidoo]

@p_sim0n Leur disc était une bonne source d'information -- bien sûr avec du trolls mais aussi des analyses pertinentes et poussées et des échanges de connaissances. Il a été banni tho 🤷‍♂️

[Dadidoo @Circuz_dadidoo]

@CzDerekao Après vérification il semblerait qu'ils n'étaient pas en 0-6 les années d'avant je ne sais pas où j'ai entendu ça en tout cas en tant que first seed c'est clairement une première

[Dadidoo @Circuz_dadidoo]

@Hamscythe @loupio66 30 + 40 = 60 ?

[Dadidoo @Circuz_dadidoo]

@CzDerekao @loupio66 Pareil

[Elon Musk @elonmusk]

@justpaulinelol @engineers_feed As foretold by https://t.co/LJJCD7BAgX