Kazusato Oko

[t @_tsuchhiii]

8月に Muon についての李さんとの論文を公開しました。
Muon は Newton–Schulz による polar factor の近似で、LLM 事前学習でも実用的に動作します。我々はこの近似がむしろ平滑化として働き、正確な polar factor では収束しない場合がある非平滑非凸最適化で、特に有効であることを示しました。

[HB @levelfour_]

We are excited to have following papers at #NeurIPS2026! I'm proud of all of them, but in particular, it's fantastic to have the first collaboration with my first PhD student @XianliangLi910 on momentum analysis of Muon. Come to see his work 👉 https://t.co/EjMBTe3vRs

[Kazusato Oko @kazusoko]

🔍 AI figure1 作る 方法
それなりに整えたパワポを渡すとめっちゃ綺麗にしてくれるけどもう少し良いやり方があるような...

[SIAM Activity Group on Dynamical Systems @DynamicsSIAM]

"Duality in Optimization: A Visual Tutorial" (by Mohini Bariya): https://t.co/myRCA1fulS

[Kazusato Oko @kazusoko]

https://t.co/pldHBz4TI7
https://t.co/7IsF77izbJ
https://t.co/DHOQs6N75L
https://t.co/Str8FI382a
https://t.co/QkZPFFe400

[Kazusato Oko @kazusoko]

stepsize accelerationのlower boundって最近は1日おきとかで進展があったんですね、すごい

[Kazusato Oko @kazusoko]

arXivに上げる機会を逃してしまいましたが、AI alignmentを社会選択理論で議論する話をアップしました。
RLHFは不均一なユーザーの平均効用を最大化できないという話があります。
先行研究の最悪ケースを再検討し、RLHFがうまく動く条件(例えば、on-policy samplingをする)を示しました。

[Kazusato Oko @kazusoko]

Finally uploaded our ICML paper analyzing RLHF through the lens of social choice theory.
When users have heterogeneous preferences, RLHF may fail to maximize average user utility. We revisit prior worst-case results and identify conditions under which RLHF works well.