Adrien Taylor

Researcher at @inria_Paris in the @Sierra_ML_Lab team

[Adrien Taylor @TaylorAdrien]

Too busy/tired/lazy to find a convergence proof for your latest optimization algorithm? Let your computer do it!
PEPit is a new Python package for computer-assisted worst-case analyses  (https://t.co/NR8wdqsq8r or https://t.co/If90afqWAS).
(1/5)

[Fabian Schaipp @FSchaipp]

Very excited to be in Copenhagen for #EurIPS 🇪🇺

I am presenting an optimizer benchmark for diffusion model training (sunday @ PriGM workshop). it compares new methods (Muon, SOAP, ScheduleFree) to good old AdamW.

Happy to chat anytime ❄️

[Adrien Taylor @TaylorAdrien]

@ErnestRyu @RaduIoanBot that's very cool, Ernest!

[Adrien Taylor @TaylorAdrien]

@EndgameL76909 @ErnestRyu Because you can cast the analysis problem as an optimization problem itself.
If you want the details: https://t.co/fwirXk1FeF

[Adrien Taylor @TaylorAdrien]

@AIGuideOfficial Could you perhaps share the prompt, the full answers, and whether you actually checked the proof? :-)

[Konstantin Mishchenko @konstmish]

Learning rate schedulers used to be a big mistery. Now you can just take a guarantee for *convex non-smooth* problems (from https://t.co/2RggKkvmxO), and they give you *precisely* what you see in training large models.
See this empirical study:
https://t.co/kXOOeygaal
1/3

[Aaron Defazio @aaron_defazio]

The sudden loss drop when annealing the learning rate at the end of a WSD (warmup-stable-decay) schedule can be explained without relying on non-convexity or even smoothness, a new paper shows that it can be precisely predicted by theory in the convex, non-smooth setting!
1/2

[Adrien Taylor @TaylorAdrien]

@kfountou @inria_paris @Sierra_ML_Lab @ENS_ULM @CNRSinformatics @ERC_Research @Inria @CNRS @CNRS_Paris I never answered, sorry! Thanks Kimon :)

[Francis Bach @BachFrancis]

My book is (at last) out, just in time for Christmas!
A blog post to celebrate and present it: https://t.co/ttRo04efDF

[Jérôme Bolte @jerome_bolte]

Recruiting Post-Doctoral students in Machine-Learning, Optimization or Regulation in AI at TSE or Paris. Write to [email protected]

[Julien Mairal @julienmairal]

We are looking for a post-doc in machine learning for astrophysics/astronomy ! https://t.co/OBQlPcsOb5

[Centre Inria de Paris @inria_paris]

📰 #Article | Découvrez le projet ARTIFACT, porté par Justin Carpentier, responsable de l’équipe-projet commune WILLOW (@inria_paris @CNRSinformatics @ENS_ULM), qui vient d’obtenir une bourse #ERCStG. Félicitations Justin 🙌 !
👉 https://t.co/Y0NmNzxKUN
[🧵...]

[Adrien Taylor @TaylorAdrien]

@peter_richtarik @inria_paris @Sierra_ML_Lab @ENS_ULM @CNRSinformatics @ERC_Research @Inria @CNRS @CNRS_Paris Thanks Peter!

[Adrien Taylor @TaylorAdrien]

@FranckIutzeler @inria_paris @Sierra_ML_Lab @ENS_ULM @CNRSinformatics @ERC_Research @Inria @CNRS @CNRS_Paris Merci Franck :)! A bientôt!

[Centre Inria de Paris @inria_paris]

📰 #Article | Découvrez le projet CASPER, porté par @TaylorAdrien, chercheur au sein de l'équipe-projet commune @Sierra_ML_Lab (@inria_paris /@ENS_ULM/@CNRSinformatics), qui vient d’obtenir une bourse #ERCStG. Félicitations Adrien 🙌 !
👉 https://t.co/8fp7iDXreu
[🧵...]

[Adrien Taylor @TaylorAdrien]

@bremen79 @NicLoizou @gautamcgoel @MatharyCharles @baptistegoujaud same thing here; I guess it is a bug!

[Adrien Taylor @TaylorAdrien]

@NicLoizou @bremen79 @gautamcgoel @MatharyCharles With also convexity, I think it is indeed QG+ from Nicolas’ reference!
(See https://t.co/8bCwmj7zlh Def 1.1, and Thm 2.6), so « smoothness » wrt the optimal set + convexity.
My current understanding tells me that convexity not only with x* is needed here @baptistegoujaud ?

[Adrien Taylor @TaylorAdrien]

@b_stellato @EPrinceton Congrats Bartolomeo!

[Adrien Taylor @TaylorAdrien]

@adfillon … reviewer est un travail non rémunéré, très peu reconnu, et extrêmement chronophage dans un monde où le temps manque.
Il semble raisonnable qu’une review n’identifie que quelques fautes importantes, c’est suffisant: pas besoin de les trouver toutes pour juger la qualité (2/2)

[Adrien Taylor @TaylorAdrien]

@adfillon Bonjour!
Merci pour ce thread; en tant qu’auteur et reviewer, je suis très d’accord avec un certain nombre de points (je mettrais, perso, les conflits d’intérêts et les biais des reviewers en premier dans la liste).
Par contre, … (1/2)

[Inria @Inria]

@AcadSciences @Inria_Saclay @ENS_ParisSaclay @3DSfrance @inria_sophia @univbordeaux 🔴Félicitations à @julienmairal, lauréat du Prix @Inria-@AcadSciences Jeunes chercheurs🏆👏

Chercheur @inria_grenoble-@ugrenoblealpes, il explore les limites de l’apprentissage machine et de la vision par ordinateur dans de multiples domaines : https://t.co/mVy1QcHFU5