Kenoski

京都の会社の畜生。 東京で働いてます。 ロボットビジョンとタスク理解に興味あります。Research engineer:Computer vision(3D), Robotics(MotionPlanning,ML)

[Kento Kawaharazuka / 河原塚 健人 @KKawaharazuka]

🎉Detachable Wire Driveが #IROS2026 に採択されました！

ワイヤ駆動の「アクチュエータと関節を物理的に分離できる」という特徴を活かし、ワイヤを途中で切り離し可能にすることで、共有したアクチュエータで多様なロボット身体を駆動できます！

https://t.co/QoaoCHywW1

[H. E. @henomoto1025]

最先端のAIが日本語の漢字をどれだけ正確に読めるかを、13,536文で徹底的に計測して比較した記事を書きました！
・読み推定・LLM：28モデル（MeCabからGPT-5.6まで）
・音声合成：41モデル（OSSや各社の日本語音声AI）
の合計69モデルを比較しています！
https://t.co/guuQfkTmMb

[Kento Kawaharazuka / 河原塚 健人 @KKawaharazuka]

🎉VLAを高速化するNeural Introspection Gatingが #IROS2026 に採択されました！

VLA自身のconfidenceを用いてKV cacheを適応的にreuse/recomputeすることで, 単純なcache reuseによる精度低下を抑えつつ, 大幅な計算量削減を実現します！

https://t.co/Fnm1PdcqnM

[chokudai(高橋 直大)@AtCoder @chokudai]

Sakanaのfuguをバカにする発言ちょこちょこ見るけど、「こんなんすぐ作れる」みたいに言うなら研究者になったほうが良い。fuguのベースの技術ってトップカンファレンス通ってるはずで、これがすぐ作れるならトップカンファレンスにガンガン通せるものが作れるわけで、日本を代表するAI研究者になれる

[MIRAI Humanoidプロジェクト@ムーンショット目標3 河原塚PM @mirai_humanoid]

河原塚PMのチームが以前から取り組んでいたVLAffが #IROS2026 に採択されました！ 人間の一人称動画から「どこに触れる・どう掴む・どう動かす」を統一的に学習し、人間動画からゼロショットでロボット操作を実現する研究です。

https://t.co/BZkX6wvTi1

[Kenoski @ken_hide]

すでに開拓されて体系立てられたものを授業で学ぶみたいな話。AIが作りたいものを作ってくれて、それに必要な技術を学んでいく行為となんか似てる気がしてる。

[Kenoski @ken_hide]

はしゃいでしまった…

[Kenoski @ken_hide]

まぁあの受け答えしてたら取りたくないよな。検索すれば分かる話その場で答えられなかったし。覚えてへんよ。

[Kenoski @ken_hide]

X国の爆誕である。

[Polymarket Japan @polymarketjapan]

【速報】🇺🇸X、金融サービス「X マネー」を米国で開始

・預金利回りは最大年6%、カード利用で3%還元
・X内で個人間送金、預金管理、Visaカード決済が可能
・預金保護は複数銀行への分散で最大約16億円

イーロンマスク氏の「スーパーアプリ構想」が本格始動
※現在は米国の一部有料会員が対象

[Tech OMRON / オムロン テクノロジー @Tech_OMRON]

📢オムロンの技術者が主催する勉強会のお知らせ
8/10(月)「第6回 最新ロボット技術になんとか喰らい付く会」【実機デモあり・ハイブリッド開催】🤖

ロボット技術やフィジカルAIにご興味のある方は、ぜひリアル会場でロボットを見て学びましょう！
お申込みは👇
https://t.co/xZ1d9qEHDc

[Kenoski @ken_hide]

イノベーションのジレンマで保守的なマネージャーが責任取れないからゴーサイン出せないみたいな話あるけど、彼らの不安をAIが爆速で解決してさっさとゴーサインくれるようになってくれないかなと思う。知らんけど。

[Kenoski @ken_hide]

AI完全に理解した系のネタだと思ってたけどマジレス始まってたんですね

[Kenoski @ken_hide]

強者の発言過ぎて　まぁそうだよ🤣

[バーチャルデータサイエンティスト アイシア=ソリッド @AIcia_Solid]

松尾研の Physical AI の講座を受けていて感じるのですが、やはり、私はもう、Physical AI をやるうえでかけてる知識はほとんどないんだなってことです。

もちろん詳しくない領域は大量にありますが、勉強しながらやればできないことはないですし。

あとはやるだけ。
やってないのは、やってないから意外に理由はないんだなと、そう思いました。

[Kenoski @ken_hide]

人間はまだ見ぬ探索領域に好奇心というモチベーションで行動する。これがなくなると閉じた系でしか活動しなくなる。

[Shinnosuke Takamichi / 高道 慎之介 @forthshinji]

慶應義塾大学 理工学部 情報工学科 講義
- ディジタル信号処理
- 自然言語処理
のスライドを全て公開しました！好きなように使って学んでください！
https://t.co/ZwKIsik0zh

[Kenoski @ken_hide]

うちのやってることを知ってほしいので話だけでもカジュアル面談で〜　ってメール来たのに募集枠が埋まってしまったので無しに　っていう謎のメール来て宇宙猫になった。

[Kenoski @ken_hide]

これ過ぎて赤べこになってる

[kazu_study@勉強×朝活 @kazu_cat_study]

企業からスカウトが届いてカジュアル面談に行くと、なぜか志望動機を聞かれる。「御社からスカウトをいただいたので」と答えると、ムッとされることがある。でも、こちらから応募したわけじゃない。御社が「話したい」と言ってきたから、お話を聞きに来ただけ。カジュアル面談という名前なのに、面接モードで臨んでくる企業側。こちらから応募したわけじゃないのに、応募者扱いされる構造。転職活動の七不思議の一つだと思う。

[Kenoski @ken_hide]

やばいやん

[大曽根宏幸 / Hiroyuki Osone @OsoneHiroyuki]

https://t.co/XqB9b0gdCC

RoboTTTは、ロボット版の「作業中に学習する長期記憶」です。

通常のVLAは直近1〜数フレームしか見ないため、

数分前に何をしたか忘れる
同じ失敗動作を繰り返す
部品を途中で外されると工程全体が崩れる
長い組立工程で現在位置を見失う

という問題があります。

RoboTTTは、推論中に内部の小さなモデルの重みを更新し続け、最大8,000タイムステップ、30Hz換算で約5分間の視覚・状態・行動履歴を利用します。NVIDIAは、従来の短期コンテキストVLAに対して平均タスク達成スコアを42%から79%へ改善したと報告しています。

何が新しいのか
従来VLA

一般的なVLAは、概ね次の入力から次の行動を生成します。

現在画像
＋現在の関節状態
＋言語命令
↓
次の数ステップの関節指令

GR00T N1も、VLMで画像と言語を理解し、Diffusion Transformerで連続行動を生成する構成です。
問題は、履歴を増やすとTransformerの計算量・メモリ消費が大きくなることです。
RoboTTT
RoboTTTでは履歴をそのまま保存せず、履歴を「Fast Weights」と呼ばれる重みに書き込みます。

各時刻で概念的には次を行います。

1. 新しい観測を受け取る
2. 自己教師あり損失を計算する
3. 内部のFast Weightsを勾配降下で1ステップ更新する
4. 更新された重みを使って行動を出力する

式で書くと、

W_t = W_(t-1) - η∇L(W_(t-1), x_t)

です。

つまり、推論処理の中に小さな学習ループが入っている。履歴をトークン列として持つのではなく、固定サイズの重み空間へ圧縮するため、履歴が長くなっても履歴長に比例して推論コストが増加しません。
ただし「通常のVLAと同じ速度」という意味ではありません。内部で勾配計算を行う分の固定オーバーヘッドはあります。あくまで、5分、10分と履歴を伸ばしても遅延が比例増加しないという主張です。
実現した能力
1. 人間動画1本からのワンショット模倣

人間が回路部品を組み立てる動画を1本見せるだけで、その動画内の部品構成と順番を読み取り、ロボットが同じ組立を実行します。

興味深いのは、人間動画にロボットの関節角や行動ラベルが付いていない点です。

訓練時には、

人間動画：
Fast Weightsの更新には使う
行動誤差の教師には使わない

ロボット軌道：
Fast Weightsを更新する
行動誤差の教師にも使う

というマスキングを行います。これによって、モデルは人間動画から「何を作るか」「どの順番か」を読み取るようになります。

ただし、これは完全に未知の任意タスクを動画1本で習得したわけではありません。
正確には、

「回路を組み立てる」というタスク系列は学習済み

部品構成と配置順序が未学習

その構成情報を人間動画から取得

という、既知タスクファミリー内の未知構成へのワンショット適応です。
2. 失敗後の自己修正
RoboTTTは、DAgger Distillationという方法で、人間による修正データを学習します。

ロボットの失敗動作 → コンテキスト
人間が修正した動作 → 教師データ

この組み合わせを長いシーケンスとして学習することで、
この失敗パターンが起きたら
このように修正すればよい

という修正アルゴリズム自体をFast Weightsへ取り込ませます。実行時には人間が介入しなくても、過去の失敗履歴を見て修正します。

したがって、ここでいう「自己改善」は、未知の環境で勝手に強化学習して賢くなることではありません。

訓練時に人間の修正過程を蒸留し、実行時に再現しているものです。

3. 外乱への復帰
組立済みの部品を人間が途中で取り外しても、RoboTTTは過去の作業履歴と現在状態を比較し、戻って再装着します。
短期VLAでは、現在画像だけを見ると、

まだ付けていない部品なのか
一度付けたが外された部品なのか

を区別できません。

RoboTTTは自分が過去に取り付けたことを覚えているため、「工程を巻き戻す」判断ができます。

結果
3つの双腕組立タスクにおける達成スコアは以下です。

タスクRoboTTTGR00T N1.7Pup Go Car組立89%57%未知構成の回路組立78%23%Gear Bot組立71%47%平均79%42%

平均では37ポイント改善、相対値では約87%改善です。さらに8Kコンテキストで事前学習したモデルは、1Kコンテキスト版より62%高い性能を示したと報告されています。
5分間・10工程の組立タスクを最後まで完了したのはRoboTTTだけだったとされています。

学習を成立させた技術

Sequence Action Forcing

GR00T系は、ノイズが加わった行動を徐々に復元するFlow Matchingで行動を生成します。

長いシーケンス全体に同じノイズ強度を使うと、そのシーケンス全体が簡単すぎる、または難しすぎる状態になり、学習が不安定になります。

RoboTTTでは、行動チャンクごとに独立したノイズレベルを割り当てることで安定化しています。

TBPTT

8,000ステップ全体へ普通に逆伝播すると、GPUメモリが足りません。
そこでシーケンスを小区間に分割し、

Fast Weightsの値は次区間へ引き継ぐ

勾配は区間境界で切る

というTruncated Backpropagation Through Timeを使用しています。

これにより、メモリ使用量は全履歴長ではなく、区間長によって決まります。