@rasbt Hard to judge without seeing it in full training, as it’s not the case here. I’m a bit skeptical about how this could scale without a norm layer, and also without skip connections on networks much larger than 100 million parameters. We always come back to the basics transformer
Foundation models dominate vision benchmarks. But how interpretable are their internal features to humans?
We ran a large behavioral study across 6 vision transformers, and found that every foundation model tested falls below the supervised baselines that came before. 🧵
23.5 hours later... there's an app and it's open source.
It tracks activities & sleep. It has full sensor support: HR, SpO2, HRV, Temperature, Motion, etc.
J’ai déposé plainte pour atteinte à la vie privée et abus d'autorité après l'exploitation de données de géolocalisation de mon téléphone par la police.
Un LLM généraliste a réfuté une conjecture mathématique importante formulée en 1946. Les commentaires des mathématiciens sont éclairants sur le sujet.
Timothy Gowers : "au cas improbable où les progrès des IA en maths cesseraient soudain, nous serons tout de même probablement
Ce rapport contient des cas intéressants: Opus 4.6 a pour tâche de générer du code avec un modèle spécifique, mais arrive au bout des crédits API ; plutôt qu'admettre l'échec, il cherche une API LLM gratuite ailleurs, en raisonnant que le scoring ne vérifie que le code produit ⤵️