那須音トウ / Nasune Tou

画像認識AIを研究してた人。漫画・ゲーム・ご飯が好き。たまにAI話も。

[那須音トウ / Nasune Tou @NASNETou]

OC 海‼

[那須音トウ / Nasune Tou @NASNETou]

https://t.co/hBtJkwZkv3
からの
https://t.co/9O4B5RYUFI

[那須音トウ / Nasune Tou @NASNETou]

見てすぐに、噂に聞いてたパンどろぼうをkindleで購入してしまった。まずい。
https://t.co/brW7tlGGim

[那須音トウ / Nasune Tou @NASNETou]

このカメラアングルでどう撮ってるのか、門外漢には不思議なんですよね。カメラの目の前でマジでパン殴ってそうだし、撮影後も画角調整やエフェクトでガリガリ加工してそう。実際どう撮って、どこまで加工してるんだろう……？

[きゃりーぱみゅぱみゅ @pamyurin]

🤜🏻👊🏻✊🏻🫸🏻💪🏻

[きゃりーぱみゅぱみゅ @pamyurin]

🤜🏻👊🏻✊🏻🫸🏻💪🏻

[鰐軍壮 @WANIGUNNSOU]

今まで日本酒のジャケ買いってした事なかったんですが、宮城に行った際にあまりにもかわいい日本酒が売ってて買ってしまいまして。
これがまた美味しくて途中まで飲んだところで、ラベルの裏からシロクマが覗いているのに気付いて最高の気分になれました。
期間限定醸造らしいのですがオススメです。

[那須音トウ / Nasune Tou @NASNETou]

未踏ITの中間発表、そろそろだよな〜と思って調べたら、まだ全然1ヶ月先だったし、そもそも非公開っぽかった。ほな2月か……

[ayat @dn0t_]

ありがたいことに、今週から銀座のサイネージで作品が流れています。暑そうですが、週末見に行こうと思います。

[那須音トウ / Nasune Tou @NASNETou]

新宿駅の広告で作品を見て、なんだか印象に残ってる。モンドリアンみたいに機械的に抽象化するアイデア面白いなぁ。

[ayat @dn0t_]

#kuva

[熊谷ゆ〜ほ🎸 @onakaitaibot]

🎸illust works🎸
・ブルーシャドウにのっかって / はしメロ MV
・YAMAHA「これから楽器を始める方向けのSTARTING GUIDE」イラスト・デザイン
・ラブライブ！スーパースター!!『Liella!と結ぶプロジェクト』スポーツ盤『Winds of YELL』イラスト

[RiK @RiK_sn]

iPhone Duo、とにかく見開きでマンガ読むツールとして最適解過ぎて…

[那須音トウ / Nasune Tou @NASNETou]

まぁ、掛け値なく偉大であれば別におセンチになる必要もないとは思う。例えば舌ペロおじさんアインシュタインは、博士号取りに行った年の論文が以下の3つだし……

①光量子仮説への貢献(ノーベル賞)
②特殊相対性理論(物理学分野の創出)
③ブラウン運動 (『原子』という概念の確定的証拠)

[那須音トウ / Nasune Tou @NASNETou]

デビュー作の『限りなく透明に近いブルー』が代表作との紹介をよく見かけて、勝手に複雑な気持ちになってる。50年の仕事は最初の一つに及ばないものなんだな

芸術関連ではたまに聞く、けど成長や研鑽と無縁である種の残酷な総括と思う。自分は真偽を想定してないけど、妥当と仮定するなら尚更つらそう

[1T🍵T @1T0T]

シドニー大学の名誉教授的な方と話をしていたら「修士の学生が可視化の授業を500人履修していてみんな研究みたいなプロジェクトをやってる」みたいな話に。こちとら研究室で1学年5人やそこらだ。どうやって対抗すればいいのだ…。

[Jon Barron @jon_barron]

Hi all, I have a new result I'm excited to share. It turns out that *all existing implementations* of softmax and cross-entropy (that's JAX, PyTorch, textbooks, etc) have a subtle bug --- two bugs, actually. A simple rewrite fixes both, and eliminates "slingshots" when grokking:

[那須音トウ / Nasune Tou @NASNETou]

スモモ好きなので、「プラムシロップとか絶対美味いでしょ」と「でも市販品見たことね〜」が同時に押し寄せてる。
梅シロップも好きだけど、そういえばこっちも市販品ほぼ見たことないな……

[momo🥐 @mt_mmco]

手間をかけるを覚えた夏でした

[那須音トウ / Nasune Tou @NASNETou]

また篠澤広さんが特殊音楽とカリスマ性を背負わされてる。
（そして、民族音楽調の伴奏にジャギジャギのギターが重なるの面白いなぁと思う）
https://t.co/1zUwEM9M9r

[Daisuke Okanohara / 岡野原 大輔 @hillbig]

SuperMimicは、ヒューマノイドの全身動作を学習するために、従来のPPOを中心とするモデルフリー強化学習ではなく、学習した微分可能な世界モデルを通じた誤差逆伝播法（BPTT）によって方策を直接最適化する。その結果、従来128基のGPUで7日間かけて学習したモデルの性能を、わずか1基のGPU、3時間の学習で上回った。

問題設定は、あらかじめ正解となる人間の参照動作データが存在し、それをロボットに模倣させるタスクである。正解となる動作の位置、姿勢、並進速度、角速度がロボットの実際の動作に近ければ近いほど、高い報酬を与える。

学習は以下の3段階を繰り返す。

・現在の方策をMuJoCo Warp上で実行し、状態・行動・次状態をリプレイバッファに保存する。

・8ステップの自己回帰予測を使い、ロボットのダイナミクスをニューラルネットワークで近似する世界モデルを学習する。

・学習した世界モデル上で32ステップの仮想ロールアウトを実行し、報酬から行動、方策へと勾配を逆伝播（BPTT）して方策を最適化する。

これらを同一の学習ループで交互に繰り返し、世界モデルと方策を並行して学習する。

世界モデル自体は3層・各2048ユニットのMLPであり、巨大なモデルではない。これだけ小さなモデルでも機能するのは、ロボットの運動が視覚や言語とは異なり、比較的低次元の状態空間と共通の物理法則によって記述できるためではないかと考えられる。

高速に学習できる理由は、大きく2つある。1つ目は世界モデルによるシミュレーションが高速であることと、2つ目は誤差逆伝播法によって方策を効率的に最適化できることである。

世界モデルはMuJoCo Warpによる物理シミュレーションより高速に状態遷移を計算でき、実際に使われる並列環境数（2K〜16K）では10倍以上、最大64Kの並列環境では62倍高速に実行できる。

さらに、従来のPPOのようにサンプリングした行動から方策勾配を推定するのではなく、微分可能な世界モデルを通じて報酬の勾配を直接計算するため、効率的に方策を改善できる。

実験では、同じ世界モデル上でPPOを学習させた場合に比べ、約64分の1の仮想ステップ数で同等の報酬を達成している。

今回、世界モデルは8ステップの自己回帰予測で学習するが、方策の最適化では32ステップ先まで展開して勾配を計算する。なお、32ステップは50Hzの制御周期で0.64秒に相当する短い時間である。

また、32ステップだけでは長期的な安定性や将来の報酬を十分に評価できないため、Criticによる価値推定を組み合わせる。これにより、短いロールアウトで勾配を計算しながら、それ以降の長期的な報酬も考慮できる。

世界モデルは摩擦係数、重心位置、キャリブレーション誤差などのシミュレーションコンテキストを入力として使う。一方、実機に配置する方策はこれらを直接利用せず、関節位置・速度やIMUなどの観測情報を使う。いわゆるPrivileged Informationを学習時に利用する構成になっている。

コメント
===
微分可能な世界モデルを使って効率的に学習するアイデアは古くから数多く提案されてきたが、今回の成功には、長期のダイナミクスを直接ロールアウトするのではなく、短い時間の予測と勾配計算に限定したことが大きく寄与していると考えられる。

具体的には、世界モデルを8ステップ（0.16秒）の自己回帰予測で学習し、方策のBPTTは32ステップ（0.64秒）に限定する。それ以降の長期的な価値についてはCriticを利用することで、予測誤差の蓄積を抑えながら方策を改善できる。

また、並列化可能で高速なMuJoCo Warpをさらに、学習された世界モデルで高速化し、1秒あたり合計数万秒分のロボット動作を仮想的に計算できることになる。

さらに、世界モデルを現在の方策が訪れる状態分布に合わせて継続的に学習することも重要だと考えられる。方策の改善によって訪れる状態や選択する行動が変化しても、新しいシミュレーションデータを収集して世界モデルを更新するため、方策が世界モデルの学習範囲から大きく逸脱する問題を抑えられる。

Appendix D.1に書かれている、方策が失敗しやすい区間を重点的にサンプリングする工夫も興味深い。動作データを1秒単位に分割し、Returnの低い区間を優先して学習するようにしている。例えば、宙返りの着地が難しい場合、動作の最初から繰り返すのではなく、着地直前の状態から重点的に学習できる。

また、今回のタスクは、あらかじめ正解となる動作が存在し、位置や姿勢の誤差から各ステップで滑らかな報酬を計算できるという特徴がある。こうした密な報酬も、微分可能な世界モデルを通じた方策最適化が成功した重要な要因だと考えられる。

そのため、正解動作が存在しないタスクや、物体との複雑な接触を伴う操作タスクにおいても同じような学習効率を達成できるかは、今後の重要な研究課題となる。

[那須音トウ / Nasune Tou @NASNETou]

あっ、昨年にも増してカッケくなってたイヴァン・シュヴァリエのクリスマスカランドリエ完売してる
https://t.co/Qg5qxHVg9k

[那須音トウ / Nasune Tou @NASNETou]

OC 海‼

[那須音トウ / Nasune Tou @NASNETou]

この晩夏の長雨は、観測史上最長らしい。さすがに降りすぎなので、どこかいい所へ行きたい。

[那須音トウ / Nasune Tou @NASNETou]

晴れ！