Top Tweets for #RObot

ロボットの模倣学習では、Action Chunkingと呼ばれる手法が広く使われている。これは現在の観測から次の1ステップの行動だけを予測するのではなく、将来の複数ステップの行動をまとめて予測する手法である。 時刻tの観測をo_t、行動をa_tとしたとき、 p(a_t | o_t) ではなく、 p(a_t, a_{t+1}, ..., a_{t+k-1} | o_t) を予測する。 そして推論時には、予測した行動列の一部または全部をそのまま実行する。Action Chunkingには推論回数を減らせるという利点もあるが、それだけが目的ではなく、1ステップずつ行動を予測するより高い性能を示すことが知られている。 多くの高性能なロボットポリシーがAction Chunkingを採用しているが、なぜこれほど有効なのかは十分には分かっていなかった。 今回の論文では、Action Chunkingがなぜ有効なのかを検証し、その理由について新しい仮説を示している。まず、従来提案されてきた3つの説明を検証した。 1つ目は時間的一貫性である。人間の操作は時間的に滑らかであり、隣接する行動には強い相関がある。1ステップずつ独立に予測するより、一連の行動をまとめて予測した方が、人間らしい滑らかな動作を生成しやすいという説明である。 2つ目は地平線の短縮である。模倣学習では、一度小さな予測誤差が生じると、学習データには存在しない状態に到達し、そこで予測がさらに悪化することで、雪だるま式に性能が低下しうる。Action Chunkingで10ステップ分をまとめて実行すれば、100ステップのタスクで方策を呼び出す回数をおよそ1/10にできるため、累積誤差を抑えられるという説明である。 3つ目は表現学習である。現在の行動だけでなく、その先の複数の行動まで予測することで、より豊かな内部表現を学習できるという説明である。 しかし著者らは、検証実験を通じて、これらだけではAction Chunkingの効果を十分に説明できないと主張する。 そこで分析のために導入したのが「時間遅れ方策」である。時間遅れ方策では、あえてdステップ前の観測だけを見て、現在の行動を予測するようにする。 単純なマルコフ的な状況であれば、行動a_tを予測する上で現在の状態を表すo_tが最も多くの情報を持っているはずである。しかしLibero-90では、数ステップから10ステップ程度前の観測を使う時間遅れ方策の方が、現在の行動の予測誤差が小さくなる傾向が示された。 そしてAction Chukingは時間遅れ方策を実現している。Action Chunkingは別の見方で捉えると、実は異なる時間遅れを持つ複数の予測を同時に学習している。例えば将来10ステップ分の行動を予測する場合、現在の行動a_tについて見ると、 a_t | o_t a_t | o_{t-1} a_t | o_{t-2} ... という、異なる過去の観測から同じ行動を予測する関係を学んでいることになる。 これは、学習対象が単純なマルコフ的方策では表現できないことを示唆している。現在の観測がほぼ同じでも、それまでにどのような行動をしてきたかによって次の行動が変わる場合があり、そのような状況では過去の履歴が必要になる。 そして、もう一つ重要な発見として、Action Chunkingは暗黙的アンサンブルを実現しているということである。 Action Chunkingは、一つのモデルの中で異なる時間遅れを持つ予測を同時に学習している。これはランダムフォレストなどが複数の異なる情報をつかった予測のアンサンブルで実現されているのと同じく、Action Chukingは異なる時点の観測を使う複数の予測器を組み合わせることで、頑健性や汎化性能を高めていると解釈できる。 実際、Action Chunkingのように複数の行動をまとめて実行する代わりに、毎ステップ異なる時間遅れをランダムに選んで行動を予測するRandomized Delay Ensembleを使うだけでも、Action Chunkingと同程度の性能を実現できることが示され、Action Chukingの効果の多くが時間遅れとアンサンブルによって実現されていることがしめされた。 コメント === ロボットの模倣学習において実験的には非常に有効でありながら、なぜ有効なのかが十分に分かっていなかったAction Chunkingについて、その要因を切り分けて特定した非常に良い論文だと思う。 Action Chunkingは単なる高速化のためのヒューリスティックではなく、ノンマルコフ的な行動を扱い、自己生成誤差の累積を抑え、さらに異なる時間遅れを利用した暗黙的なアンサンブルまで実現していると解釈できる。 Transformerであれば過去全体を履歴として入力できるため、ノンマルコフ的な行動そのものは原理的に表現できるといえるかもしれない。しかし、Action Chunkingが持つ累積誤差の低減や暗黙的アンサンブルの効果はそのままでは得られない。 むしろこの研究は、行動予測において常に利用可能な最新情報をすべて与えることが最善とは限らず、あえて異なる時点の情報だけから予測させ、それらを組み合わせることが性能向上につながる可能性を示している。 ロボット制御について提案された考え方だが、同じ未来を異なる時間差の過去から予測するという仕組みは、より一般的なエージェント学習や時系列予測、推論にも応用できる可能性がある。