Yusuke

スタートアップ@AlgomaticJpの26歳のAIエンジニア / AIの研究と事業をつなぐ人。/ / 情報系修士卒/ 登壇・イベント登壇のご依頼はDMからお気軽にどうぞ。

[Yusuke @yusuke_post]

https://t.co/I3eKy365c9

[Yusuke @yusuke_post]

模倣学習のためのデータセットを作成中。

ノーコードでロボットの学習をさせることができるツール、LeLabを使ってみた。

[Yusuke @yusuke_post]

Claude Codeにセットアップ・キャリブレーションなど手伝ってもらいました。

ロボットアーム(SO-101)、組み立て完了です。

[Yusuke @yusuke_post]

物体検出のモデルにデザイン思考をさせてみた。

与えられた画像から、課題の定義をして、解決策を考えさせてみた。

例えば、スマホが近くにあり調理で汚れてしまうので離した方がいいということを教えてくれる。

[Yusuke @yusuke_post]

キッチンのオブジェクトについて、どこをどのように操作すべきかを出力させてみた。

簡易的なアフォーダンスの特定をしてみた。
(Gemini Robotics ER 1.6)

[Yusuke @yusuke_post]

キッチンのオブジェクトについて、どこをどのように操作すべきかを出力させてみた。

簡易的なアフォーダンスの特定をしてみた。
(Gemini Robotics ER 1.6)

[Yusuke @yusuke_post]

GeminiのRoboticsモデルを用いた簡易的な姿勢推定の実験。

工場での作業者の姿勢の推定と、ロボットアームの関節の特定。

[Yusuke @yusuke_post]

GeminiのRoboticsモデルを用いた簡易的な姿勢推定の実験。

工場での作業者の姿勢の推定と、ロボットアームの関節の特定。

[Yusuke @yusuke_post]

Googleの物体検出に強いモデル(Gemini Robotics-ER 1.6)を用いて、画像の中の危険予知を行うデモ
作業場とか、介護の場面を想定。

＊画像はAI生成されたものを利用

[Yusuke @yusuke_post]

Claude Codeにセットアップ・キャリブレーションなど手伝ってもらいました。

ロボットアーム(SO-101)、組み立て完了です。

[Yusuke @yusuke_post]

HuggingFaceのノーコードでロボットを学習させることができる「LeLab」を用いて模倣学習を行ってみた。

とりあえずデータ作成->ACT(Action Chunking with Transformers)学習までは完了。

https://t.co/f2xpUoY9yp

[LeRobot @LeRobotHF]

Train AI robots without writing a single line of code. 🤖

We just launched LeLab, the official graphical user interface for LeRobot built by @rabault_nicolas. It completely removes the command line from the robot learning workflow, taking you from raw hardware to autonomous movement visually.

If you've ever wanted to get into AI robotics but were held back by complex terminal setups, this is for you.

- Zero-Terminal Setup: Smart calibration with automatic USB port detection.
- Easy Data Collection: Teleoperate your robot and record a dataset.
- One-Click GPU Training: Don't have a massive local GPU? Scale your training instantly with Hugging Face Jobs right inside the app.

Just plug in your SO-ARM101 and start teaching your robot. We put together a complete, step-by-step video guide showing exactly how to get started and train your first policy.

Docs: https://t.co/PrUEIeaXKW
GitHub: https://t.co/SFuOiN8rjN

[Yusuke @yusuke_post]

Googleのロボティクス用途のVLMモデルを用いた、商品棚の画像からの補充の必要な箇所の検出（実験）。

このモデルはReasoningができるので、普通の物体検出のモデルと比較して比較的長いプロンプトを受け付けて、複雑な条件での物体検出が可能。

[Yusuke @yusuke_post]

Googleの物体検出に強いモデル(Gemini Robotics-ER 1.6)を用いて、画像の中の危険予知を行うデモ
作業場とか、介護の場面を想定。

＊画像はAI生成されたものを利用

[Yusuke @yusuke_post]

RLPDは、「オフラインで事前学習 → オンラインでファインチューニング」という2段階方式の難しさ（分布シフト、忘却）を回避し、最初からオフライン・オンライン両方のデータを混ぜて単一フェーズで学習するのが特徴。

https://t.co/KdSuBXeesu

[Yusuke @yusuke_post]

オフラインデータを活用してオンライン強化学習を効率化する手法、RLPD（Reinforcement Learning with Prior Data）も試した。

[Yusuke @yusuke_post]

ロボットアームをシミュレーション内で強化学習させるい実験をしてみた

Claude Codeの/goalコマンドで「成功するまで学習させて」とOpus4.8に頼んで実験を自動化させた

実験条件
- SO-101
- Genesis, rsl_rl
- PPO
- Mac M2

リアルのSO-101でやっていきたい
SAC(Soft Actor-Critic)に挑戦したい

[Yusuke @yusuke_post]

Googleの物体検出に強いモデル(Gemini Robotics-ER 1.6)を用いて、画像の中の危険予知を行うデモ
作業場とか、介護の場面を想定。

＊画像はAI生成されたものを利用

[Yusuke @yusuke_post]

Gemini-ER 1.6を図面に対して適用する実験

1枚目、穴の箇所の検出
2枚目、仕上げ加工が必要な面の検出
3枚目、加工の順番に番号を振る。ラベルは短く加工方法を提示。

＊図面は画像生成されたデータ。

[Yusuke @yusuke_post]

Goalコマンドは、ロボットの成功・失敗のような明確な合格基準があるタスクとは相性がいいと思います。

Claude Codeが5時間くらいかけて精度を上げるというゴールを達成しようとしてくれました。

特に重要なのはその達成するための手段を事前にある程度与えてあげることだと思っています。

[Yusuke @yusuke_post]

ロボットアームをシミュレーション内で強化学習させるい実験をしてみた

Claude Codeの/goalコマンドで「成功するまで学習させて」とOpus4.8に頼んで実験を自動化させた

実験条件
- SO-101
- Genesis, rsl_rl
- PPO
- Mac M2

リアルのSO-101でやっていきたい
SAC(Soft Actor-Critic)に挑戦したい

[Yusuke @yusuke_post]

Gemini ER 1.6による、障害物を回避する軌道の生成

[Yusuke @yusuke_post]

Gemini-ER 1.6を図面に対して適用する実験

1枚目、穴の箇所の検出
2枚目、仕上げ加工が必要な面の検出
3枚目、加工の順番に番号を振る。ラベルは短く加工方法を提示。

＊図面は画像生成されたデータ。

[Yusuke @yusuke_post]

Gemini ER 1.6で経路を出力

障害物を避けるような出力をさせた

[Yusuke @yusuke_post]

Gemini Robotics-ER 1.6モデルを使って物体検出をしてロボットアームを動かす

「信号機の止まれに使われる色のブロックを持ち上げる」と指示→赤色のオブジェクトを持ち上げた

[Yusuke @yusuke_post]

SAC vs PPO vs ACT
SAC won

やはりPPOは収束せず

[Yusuke @yusuke_post]

Gemini Robotics-ER 1.6モデルを使って物体検出をしてロボットアームを動かす

「信号機の止まれに使われる色のブロックを持ち上げる」と指示→赤色のオブジェクトを持ち上げた

[Yusuke @yusuke_post]

ロボットアームをシミュレーション内で強化学習させるい実験をしてみた

Claude Codeの/goalコマンドで「成功するまで学習させて」とOpus4.8に頼んで実験を自動化させた

実験条件
- SO-101
- Genesis, rsl_rl
- PPO
- Mac M2

リアルのSO-101でやっていきたい
SAC(Soft Actor-Critic)に挑戦したい

[Yusuke @yusuke_post]

Gemini Robotics-ER 1.6
https://t.co/cgEF1Ovj7z

[Yusuke @yusuke_post]

ロボットアームをシミュレーション内で強化学習させるい実験をしてみた

Claude Codeの/goalコマンドで「成功するまで学習させて」とOpus4.8に頼んで実験を自動化させた

実験条件
- SO-101
- Genesis, rsl_rl
- PPO
- Mac M2

リアルのSO-101でやっていきたい
SAC(Soft Actor-Critic)に挑戦したい

[理久 @rik423__ai]

Algomaticに入社して1ヶ月経ったので、入社エントリを書きました！！！
なぜAlgomaticを選んだのか、自分が感じている魅力をたくさん書いたので、ぜひ読んでみてください！

AI時代の変革者でありたくて、Algomaticに入社しました｜#入社エントリ
https://t.co/A055oZn6M8