Sotetsu KOYAMADA

[共立出版 @kyoritsu_pub]

【見本出来】Robert Osazuwa Ness 著／小山田 創哲 訳『因果AI：コードファーストで学ぶ因果推論』7/22発売
https://t.co/QPqNtr7fXU

＜2011年チューリング賞受賞 ジューディア・パール（Judea Pearl）推薦＞

因果推論を学びたいデータサイエンティストや機械学習エンジニアにとっての必携書。

[Sotetsu KOYAMADA @sotetsuk]

Please check out our #ICML2026 🇰🇷 poster for ReMax tomorrow, where we show how exploration can emerge in RL by retrying under uncertainty.

Long road since this project started in 2022 😂 Huge thanks to all co-authors, especially @PaavoParmas and first author @nissymori1 🙏

[Soichiro Nishimori @nissymori1]

Our paper "Emergence of Exploration in Policy Gradient Reinforcement Learning via Retrying" is accepted at #ICML2026 🇰🇷

Proposed a novel exploration objective called ReMax, evaluating best of multiple trials under uncertainty.

The objective comes from the basic question,

Why do RL agents need to explore?

We argue it is because
♻️ Agents are allowed to retry (otherwise, the rational choice is the current best action).
📈 Return is uncertain (otherwise, no point in trying suboptimal actions.)

ReMax naturally captures these intuitions by modeling the distribution of returns and evaluating the maximum over multiple retries, thereby encouraging agents to select actions that are currently suboptimal but highly uncertain.

The diagram is inspired by the Vector Policy Optimization (VPO) paper.

🧵1/n

[Soichiro Nishimori @nissymori1]

Our paper "Emergence of Exploration in Policy Gradient Reinforcement Learning via Retrying" is accepted at #ICML2026 🇰🇷

Proposed a novel exploration objective called ReMax, evaluating best of multiple trials under uncertainty.

The objective comes from the basic question,

Why do RL agents need to explore?

We argue it is because
♻️ Agents are allowed to retry (otherwise, the rational choice is the current best action).
📈 Return is uncertain (otherwise, no point in trying suboptimal actions.)

ReMax naturally captures these intuitions by modeling the distribution of returns and evaluating the maximum over multiple retries, thereby encouraging agents to select actions that are currently suboptimal but highly uncertain.

The diagram is inspired by the Vector Policy Optimization (VPO) paper.

🧵1/n

[Sotetsu KOYAMADA @sotetsuk]

@yag_ays > sshしたリモートサーバでの実行まわりの手間がやはり大きかったですかね

これは僕も思いますね。

なるほど、参考になります！！

[書泉_MATH @rikoushonotana]

7月下旬新刊
『因果AI　コードファーストで学ぶ因果推論』Robert Osazuwa Ness　小山田 創哲/訳(共立出版）
＜2011年チューリング賞受賞 ジューディア・パール（Judea Pearl）推薦＞
『因果AI』は、因果的なストーリーを生成し理解するAIシステムを構築するために、今まさに必要な1冊である。Robertは、わかりやすい解説、最先端のコード例、そして実世界の応用を通して、因果科学と反実仮想の論理を、生成AIと巧みに結びつけている。この革新的な分野を身につけたいすべての人にとって、この本は必読といえよう。——Judea Pearl
https://t.co/8xQVGNUYDC

[Michael Matthews @mitrma]

⛳ Introducing purejaxgcrl: goal-conditioned reinforcement learning in end-to-end JAX for discrete action environments!

Train generalist, goal-conditioned agents in minutes on a single GPU.
1/

[Tadashi Kozuno @Tdash_Koz]

求職中です！日本から働ける研究ポジションをご存じでしたら、ぜひ教えてください！専門は強化学習、マルチエージェント強化学習、Learning in Gamesです。もともとは理論寄りの研究をしていましたが、現在はエージェントシステムの再帰的自己改善に興味があります。

[Tanahashi @tanahhh]

大阪にデータ収集の拠点を作ります！

[日経関西 @nikkeikansai]

神戸大大学院に経済データ科学専攻　2027年度新設、三井住友銀行と連携
https://t.co/QcjuvPr5o8

経済学や統計学に加えて機械学習、プログラミングを教えます。28年度は経済学部に経済数理データ科学コース（仮称）を設け、学部と大学院の一貫教育を始めます。

【2026年2月 読まれた記事】

[Sotetsu KOYAMADA @sotetsuk]

@natamiiii ようこそ🤗

[Sotetsu KOYAMADA @sotetsuk]

@TakayukiOsa お気を使わせてしまいすみません…
物価を考えるとアタリマエの値段と思います！（ただ物価に感覚がついていけてないだけでして…）
タイミング見て購入させて頂きたいと思ってます🙏楽しみにしてます！

[Sotetsu KOYAMADA @sotetsuk]

https://t.co/eZFMGqbpoq

[Sotetsu KOYAMADA @sotetsuk]

そういえば岩波書店「科学」の2025年11月号において強化学習でサットンとバートがチューリング賞を受賞したことについて解説記事を寄稿しました。一般向けですが、是非お手に取ってみてください！なんとバートのインタビューがあります！(インタビューは僕は関係ないですが）

[Sotetsu KOYAMADA @sotetsuk]

@yag_ays 草

あざす！参考にします！（？）

[Sotetsu KOYAMADA @sotetsuk]

@yag_ays なるほど！あざす！！

外出先とかでも小声で入力できるたりすると嬉しいなあとかぼんやり思ってて聞いてみました！🙏

[Graham Todd @gdrtodd_]

Ludax is inspired by both the Ludii game description language (https://t.co/DQW12FjUZp) and the excellent PGX library of board game implementations in JAX (https://t.co/v0COK0TEsY)

Our goal is to combine the best parts of both projects: flexibility and speed!

[Sotetsu KOYAMADA @sotetsuk]

@ume0904 👀

[Sotetsu KOYAMADA @sotetsuk]

@ume0904 @tasosoooo 大学はないけど高校卒業出来ない夢はよく見る。いつも美術か家庭科サボりすぎて単位取れないらしい。