Bhiman Kumar Baghel

CS PhD Student @ University Of Pittsburgh.
Ex -Lead Engineer - Speech & Natural Language Processing @ Samsung Research, Bangalore.
MTech in CSE @ IIT Kharagpur

[Bhiman Kumar Baghel @bhinubkb]

🚨“How DeepSeek-R1 beat OpenAI at reasoning — a deep dive”

🧵 1/

I’ve launched a 3-part breakdown.

In Part 1:
– LLaMA 3 vs DeepSeek-R1-zero
– MoE vs Dense
– RLHF

Let’s dive in 🧵

Full Video: 🔗 https://t.co/EfxfAk7inK

[Bhiman Kumar Baghel @bhinubkb]

@langer_han @ReviewAcl Same

[Bhiman Kumar Baghel @bhinubkb]

@natolambert Interested

[Brivael Le Pogam @brivael]

Elon Musk avait dit un truc qui m'avait marqué sur l'allocation de ressources. En substance : passé un certain niveau de richesse, l'argent n'est plus de la consommation, c'est de l'allocation de capital.

Cette phrase change tout.

L'économie, dans le fond, c'est juste un problème d'allocation. Tu as des ressources finies et des usages infinis. Qui décide où va quoi ?

Imagine une cour de récré. 100 enfants, des paquets de cartes Pokémon distribués au hasard. Tu laisses faire. Très vite, un ordre émerge. Les bons joueurs accumulent les cartes rares, les collectionneurs trient, les négociateurs trouvent des deals. Personne n'a planifié. Et pourtant chaque carte finit dans les mains de celui qui en tire le plus de valeur. Le système maximise le bonheur total de la cour. C'est ça, la main invisible.

Maintenant fais entrer la maîtresse. Elle trouve ça injuste. Léo a 50 cartes, Tom en a 3. Elle confisque, redistribue, impose l'égalité. Trois effets immédiats. Les bons joueurs arrêtent de jouer, à quoi bon. Les mauvais n'ont plus de raison de progresser, ils auront leur part. Les échanges s'effondrent. La cour est égale, et morte. Elle a maximisé l'égalité, elle a détruit le bonheur.

Le problème de la maîtresse, c'est qu'elle ne peut pas avoir l'information que la cour avait collectivement. C'est le problème du calcul économique de Mises, formulé en 1920. L'URSS a essayé de le résoudre pendant 70 ans avec le Gosplan. Résultat : pénuries, queues, effondrement. Pas parce que les Soviétiques étaient bêtes, parce que le problème est mathématiquement insoluble en mode centralisé.

Quand Musk a 200 milliards, il ne les consomme pas, il les alloue. SpaceX, Starlink, Neuralink, xAI. Chaque dollar est un pari sur le futur. Et lui a un track record. PayPal, Tesla, SpaceX. Il a démontré qu'il sait identifier des problèmes immenses et y allouer des ressources avec un rendement spectaculaire.

L'État aussi a un track record. Hôpitaux qui s'effondrent, éducation qui décline, dette qui explose, services publics qui se dégradent malgré des budgets en hausse constante. Le marché identifie les bons allocateurs, la politique identifie les bons communicants.

Le profit n'est pas une finalité, c'est un signal. Il dit : tu as alloué des ressources rares vers un usage que les gens valorisent suffisamment pour payer. Plus le profit est gros, plus la création de valeur est grande. Quand Starlink est rentable, ça veut dire que des millions de gens dans des zones rurales ont enfin internet. Quand un ministère est en déficit, ça veut dire qu'il consomme plus qu'il ne produit. L'un crée, l'autre détruit, et on appelle ça redistribution.

Dans nos sociétés il y a deux catégories d'acteurs. Les entrepreneurs et les bureaucrates. L'entrepreneur prend un risque personnel pour identifier un problème, mobiliser des ressources, créer une solution. S'il se trompe il perd. S'il a raison, ses clients gagnent, ses employés gagnent, ses fournisseurs gagnent, l'État collecte des impôts. Il est la cellule de base du progrès humain.

Le bureaucrate ne prend aucun risque personnel. Son salaire est garanti. Au mieux il maintient une rente existante. Au pire il la détruit par excès de réglementation, mauvaise allocation forcée, incitations perverses qui découragent ceux qui produisent. Mais dans aucun cas il ne crée.

Regarde les 50 dernières années. iPhone, internet civil, SpaceX, Tesla, Google, Amazon, Stripe, mRNA, ChatGPT. Toutes des inventions privées, portées par des entrepreneurs, financées par du capital risque. Pas un seul ministère n'a inventé quoi que ce soit qui ait changé ta vie au quotidien.

La France est devenue le laboratoire mondial de la dérive bureaucratique. 57% du PIB en dépenses publiques, record absolu. Une administration tentaculaire, une fiscalité qui pénalise la création de richesse. Résultat : décrochage face aux États-Unis, à l'Allemagne, à la Suisse. Fuite des cerveaux. Désindustrialisation. Dette qui explose.

Et le pire c'est que la mauvaise allocation s'auto-renforce. Plus l'État prélève, moins les entrepreneurs créent. Moins ils créent, moins il y a de base fiscale. Plus l'État s'endette et taxe. Boucle de rétroaction négative parfaite. La maîtresse pense qu'elle aide, et chaque année la cour produit moins.

Dans nos sociétés, ce sont les entrepreneurs, toujours, qui font avancer la civilisation. Les bureaucrates au mieux maintiennent une rente, au pire la détruisent. Aucune société n'a jamais progressé en taxant ses créateurs pour subventionner ses gestionnaires.

La question n'est jamais qui a combien. C'est qui alloue le mieux la prochaine unité de ressource pour maximiser le futur de l'humanité. La réponse depuis 200 ans n'a jamais changé. Ce ne sont pas les fonctionnaires.

[Paul S. Conyngham @paul_conyngham]

@IterIntellectus Hi mate, there are a few people here claiming this is fake news. Rose and I were on Aussie national television this morning:

https://t.co/2ruE3LR4Wx

[sui @birdabo]

this story is absolutely insane 🤯

> tech guy with zero biology background.
> his dog got terminal cancer.
> vets said 1 - 6 months left.
> bro said nah not on my watch.
> asked ChatGPT for a treatment plan.
> sequenced tumor DNA for $3k.
> used AlphaFold AI to model mutated proteins.
> designed world’s first personalized mRNA vaccine for a dog.
> partnered with universities to synthesize it.
> ethics approval took 3 months.
> vaccine design took 2 months.
> first injection December 2025.
> tumors shrank 75% within weeks.
> dog happy.
> universities confirmed it worked.
> now designing version 2 for remaining tumor.

AI + a guy determined to save his dog just outperformed the pharma industry 💀

the cure for cancer will be open source.

[Intelligent Systems @ISPPitt]

PittNLP @emnlpmeeting @pitt_sci #emnlp2025 !!
@xiang_lorraine Dr. Litman @bhinubkb @JoeyHou5 @janetlauyeung César GS @YuyaAsano47
Multi-Lingual Word Grouping Games ✅
LLM Creativity ✅
Neighbor-Assisted Model Editing ✅
Free Response Math Problems ✅
Human Label Variation✅

[Bhiman Kumar Baghel @bhinubkb]

🧵 9/

��� I’m Bhiman, a CS PhD student @ Pitt, studying model editing, LLM reasoning, and efficient fine-tuning.

As I go through my PhD journey, I share what I learn.

Let’s learn together.

👉 Follow me: https://t.co/a9778K6daI

#phdlife

[Bhiman Kumar Baghel @bhinubkb]

🧵 5/

LLaMA 3:
→ 405B parameters (all active during inference)

DeepSeek-V3-base:
→ 671B total
→ Only 37B active at inference via MoE routing

⚡ That’s massive savings in compute during training and inference.

[Bhiman Kumar Baghel @bhinubkb]

🧵 8/

Watch Part 1 with more details:
🔗 https://t.co/EfxfAk7inK

Follow for the next parts 👇

#DeepSeekR1 #GPT4 #LLM #RLHF #MoE #AI #MachineLearning

[Bhiman Kumar Baghel @bhinubkb]

🧵 4/

Starting with the architectural difference …

💡 Instead of a dense decoder-only transformer (like LLaMA 3), DeepSeek-R1-zero uses a Mixture of Experts model.

🧠 Only a subset of experts are active per input → faster inference + modular specialization.

[Bhiman Kumar Baghel @bhinubkb]

🚨“How DeepSeek-R1 beat OpenAI at reasoning — a deep dive”

🧵 1/

I’ve launched a 3-part breakdown.

In Part 1:
– LLaMA 3 vs DeepSeek-R1-zero
– MoE vs Dense
– RLHF

Let’s dive in 🧵

Full Video: 🔗 https://t.co/EfxfAk7inK

[Bhiman Kumar Baghel @bhinubkb]

🧵 3/

🔧 Let’s start with the training pipeline.

Conventional LLMs typically follow:

1. Pre-training (language learning)
2. Supervised fine-tuning
3. RLHF (reinforcement learning with human feedback)

DeepSeek-R1 uses a twist on this…

[Bhiman Kumar Baghel @bhinubkb]

🧵 2/

📌 Why is DeepSeek-R1 a big deal?

It beat OpenAI’s O1 (their reasoning-tuned GPT-4) on math & code — traditionally the hardest LLM tasks.

And it did it using mostly reinforcement learning.

[Elon Musk @elonmusk]

Do these expenditures seem like a good use of your taxes?

[Bhiman Kumar Baghel @bhinubkb]

“That's one small step for man, one giant leap for mankind” - Neil Armstrong

[Sasha Rush @srush_nlp]

Updating all my NeurIPS papers.

[Bhiman Kumar Baghel @bhinubkb]

@likhithnj @outofofficedaku Not required in transit