Hi all, I have a new result I'm excited to share. It turns out that *all existing implementations* of softmax and cross-entropy (that's JAX, PyTorch, textbooks, etc) have a subtle bug --- two bugs, actually. A simple rewrite fixes both, and eliminates "slingshots" when grokking:
🎂 En 2026, le BEA célèbre 80 ans au service de la sécurité aérienne. Découvrez le siège du BEA installé au sein de l'aéroport du Bourget depuis 1994.
A suivre...
https://t.co/sH3xQZB5lD
We're giving away a CONTROL Resonant custom wrapped NVIDIA GeForce RTX 5080 to celebrate its official release with #RTXON.
To enter:
🟢 Share this post
🟢 Comment #RTXON
T&Cs: https://t.co/Mbf7w3j1q3