Too busy/tired/lazy to find a convergence proof for your latest optimization algorithm? Let your computer do it!
PEPit is a new Python package for computer-assisted worst-case analyses (https://t.co/NR8wdqsq8r or https://t.co/If90afqWAS).
(1/5)
Very excited to be in Copenhagen for #EurIPS 🇪🇺
I am presenting an optimizer benchmark for diffusion model training (sunday @ PriGM workshop). it compares new methods (Muon, SOAP, ScheduleFree) to good old AdamW.
Happy to chat anytime ❄️
Learning rate schedulers used to be a big mistery. Now you can just take a guarantee for *convex non-smooth* problems (from https://t.co/2RggKkvmxO), and they give you *precisely* what you see in training large models.
See this empirical study:
https://t.co/kXOOeygaal
1/3
The sudden loss drop when annealing the learning rate at the end of a WSD (warmup-stable-decay) schedule can be explained without relying on non-convexity or even smoothness, a new paper shows that it can be precisely predicted by theory in the convex, non-smooth setting!
1/2
📰 #Article | Découvrez le projet ARTIFACT, porté par Justin Carpentier, responsable de l’équipe-projet commune WILLOW (@inria_paris@CNRSinformatics@ENS_ULM), qui vient d’obtenir une bourse #ERCStG. Félicitations Justin 🙌 !
👉 https://t.co/Y0NmNzxKUN
[🧵...]
@NicLoizou@bremen79@gautamcgoel@MatharyCharles With also convexity, I think it is indeed QG+ from Nicolas’ reference!
(See https://t.co/8bCwmj7zlh Def 1.1, and Thm 2.6), so « smoothness » wrt the optimal set + convexity.
My current understanding tells me that convexity not only with x* is needed here @baptistegoujaud ?
@adfillon … reviewer est un travail non rémunéré, très peu reconnu, et extrêmement chronophage dans un monde où le temps manque.
Il semble raisonnable qu’une review n’identifie que quelques fautes importantes, c’est suffisant: pas besoin de les trouver toutes pour juger la qualité (2/2)
@adfillon Bonjour!
Merci pour ce thread; en tant qu’auteur et reviewer, je suis très d’accord avec un certain nombre de points (je mettrais, perso, les conflits d’intérêts et les biais des reviewers en premier dans la liste).
Par contre, … (1/2)