めんだこ

深層強化学習の技術記事を書くよ

[めんだこ @horromary]

丸善で見つけたので購入。初学者はサットン強化学習の前にこっち読むのがよさそう

[めんだこ @horromary]

>import google.adk の耐えられない重さ
重大な問題との認識はされている模様
https://t.co/jpNNxjAZQH

[めんだこ @horromary]

`import google.adk` の耐えられない重さ

[めんだこ @horromary]

はてなブログに投稿しました
LLMチューニングのための強化学習②：GSPO（Group Sequence Policy Optimization） - どこから見てもメンダコ https://t.co/9GnLZTYi7S
#はてなブログ #強化学習 #LLM

[めんだこ @horromary]

Qwen3のGSPO(Group Sentence Policy Optimization)はweighted importance sampling policy gradient estimatorのバリアントに見えますが実際どうなんでしょう

[めんだこ @horromary]

Jax/Flax-nnx製のLLM事後訓練ライブラリがGoogleから公開されてたので試用中。サンプルコードがGemmaなのがgood
https://t.co/GjpWAoKBwI

[めんだこ @horromary]

Gemini 2.5 Flash Image、完全に世界を理解していてすごい
https://t.co/RzGDG8zzON

[めんだこ @horromary]

関連：
E(3)同変グラフニューラルネットワークによる分子生成
https://t.co/AzpEHeSrRi

[めんだこ @horromary]

予約done！
対称性と言えば、Alphafold3論文が対称性の導入で精度改善しなかったと言っていたのが衝撃的でした。分子生成はどう考えても対称性考慮が必要そうなのに

[Daisuke Okanohara / 岡野原 大輔 @hillbig]

「対称性と機械学習」という本を岩波書店より2025/9/18に出版します。この本は物理世界でみられる対称性を機械学習でどのように扱えるのかについて解説し、特にリー群で表される変換に対する対称性を扱います。
本の概要や、目次を含めたサポートページへのリンクはスレッド内で紹介します。

[Deniz Kavi @kavi_deniz]

RFdiffusion2 now available! Atomic-level scaffolding for complex active sites

Available on @tamarindbio now.

RFdiffusion2 shows state-of-the-art atomic-level scaffolding that generalizes to complex, multi-island active sites, and it reliably yields active enzymes with modest screening, though activities are still below the best native enzymes and should improve with richer theozymes and sequence/pocket co-design.

[Derya Unutmaz, MD @DeryaTR_]

I’ve been beta testing @GoogleAI Co-Scientist for some time. It generates novel ideas, hypotheses & scientific proposals. It’s unbelievably good; together with the other AI models I discuss here, it fundamentally changes how science is done & will make the world a better place!❤️

[めんだこ @horromary]

はてなブログに投稿しました
Jax/Flax NNXで実装する深層強化学習②：PPOによるロボット犬の歩行学習 - どこから見てもメンダコ

夏休みの自由研究としてUnitree社のロボット犬で大規模並列強化学習。ちょうど中国のヒト型ロボット運動会も盛況ですね
https://t.co/ixb6PkTdOS
#はてなブログ

[Daisuke Okanohara / 岡野原 大輔 @hillbig]

現代化学（2025年4月より連載中）の「AIによる計算化学の発展」の第2回「ニューラルネットワークポテンシャル」の記事を公開します（スレッドにリンクを貼ります）。

[めんだこ @horromary]

自作PPOでGo1君の走行にようやく成功。初期実装では立つのがやっとだったが、「エントロピーボーナス付きTanhNormal方策」「SiLU活性化関数」「RunningStatsによる観測の正規化」で大幅に性能が向上した。やはり連続値コントロールは難しい...

[めんだこ @horromary]

Mujoco向けにPPOの実装中。こっちは方策関数をミスって生まれたての小鹿みたいになったGo1君

[めんだこ @horromary]

jaxの乱数管理、最初は面倒だったけど慣れるとすごい安心感。不確実性に由来するバグでも完全再現できるありがたさ

[めんだこ @horromary]

tanh(Normal)の方策関数、暗黙知が多すぎ問題

[めんだこ @horromary]

@aakamisaka はい、ubuntu22.04です。ログ見るとvulkan関連でエラーが出てるのでgpu driverかGUIデスクトップ設定の何かがかみ合ってないのだろうなと思ってます。もし解決成功したら参考までご報告させていただきますね

[めんだこ @horromary]

isaaclabのインストール難易度が高すぎる、起動しない