Wataru

Computer Vision, ML Engineering

[Wataru @wataru_823]

@toyxyz3 I hadn't caught up with ExMR (an extended version of FootMR) yet!

https://t.co/PSUzc725NX

Not only did you find it, but you even went ahead and implemented it! You're absolutely amazing, as always!!

[Wataru @wataru_823]

@toyxyz3 Amazing!! I love seeing posts like this! Super interesting!

DuoMo alone should outperform GVHMR alone, right? But adding HTD Refine and FootMR to GVHMR improves its performance even further. That's really impressive!

[Wataru @wataru_823]

@jichiep That was fast! Amazing work!!

[Wataru @wataru_823]

@jichiep Fast SAM 3D Body is a follow-up work to SAM 3D Body. Combining it with your approach could potentially enable even faster real-time inference.

https://t.co/bfTBd9fSzO

[Wataru @wataru_823]

@tokufxug For reference, the paper and code are also publicly available on the project page.

https://t.co/vn76w1khSi

[Wataru @wataru_823]

感想
・動物の骨格の違いから骨長の制約をつける点が面白い

・人間動作を入力とし様々な犬種の動作 (cross-species) を推定するだけでもある程度新規性がありそうだが，さらに音声情報も用いている点がすごい

・データ量がすごい (13カメラ分) から，全部ダウンロードするの大変そう

[Wataru @wataru_823]

6.
InterPet4D: A Multimodal 4D Human–Pet Interaction Dataset for Pet Motion Generation (ECCV'26)
https://t.co/ylL2bpS5tG

人間と犬の自然なインタラクションを複数視点・一人称視点・音声・3D動作を収集し，人間のジェスチャー・音声から犬の動作を生成するMotionGPT型モデル (IPMG) を提案

[Wataru @wataru_823]

実験
・手法：Seq2Seq-Transformer, DiT, Ours (w/o PetVAE), Ours (full) で比較

・評価指標：FID, R_prec, Divなど．生成系でよく見られる

・Ablation：入力動作 (body, hand, body+hand), 音声の有無, PetVAEの骨長制約の有無を比較

[Wataru @wataru_823]

感想
・非公開データセットなの残念 (10万シーンと企業ならではの大規模さ)

・固定の8視点を生成しているので，例えば車種によりカメラ位置が異なるなどがLimitationになりそう (入力は多様, 出力は特定の車体)

・下流タスクの検証はよく考えたらreal2simで本来やりたいsim2realではないかも？

[Wataru @wataru_823]

5.
Sensor2Sensor (CVPR'26)
https://t.co/Xq96ZQG3WR

単一ドラレコ動画から複数視点の動画やLiDARデータを生成する手法

[Wataru @wataru_823]

実験
・固定カメラ → 8 viewsで既存手法 8VGGT, π^3, X-Drive, CAT3D) より良い

・人間の品質評価も行い，トップ評価

・下流タスクでLiDAR検出などの生成データに追加学習なしで適用し，実データと同等の性能

[Wataru @wataru_823]

感想
・イベントカメラを実用まで持っていく例が珍しい

・高速化で実直にできることが詰まっている

・YOLOv4レベルの古めの技術でも実機で使える驚き

[Wataru @wataru_823]

4.
1000 Rallies: An Event-Camera Dataset and Real-Time Learned Ball-State Estimation for Robotic Table Tennis (arXiv'26)
https://t.co/0R3QGObGJh

イベントカメラで卓球ボールの位置と速度を400Hzで推定し，起動予測でロボットアームを動かし人間とラリーできるようにする研究

[Wataru @wataru_823]

実験
・2D検出で，難しいシナリオでも検出率96.8%

・別環境・別カメラ配置でもMAE 0.76pxほど

・100ms先バウンド予測で，RMSE7.7~12.1cmほど

・ロボット実験で，発射機は100%, 人間とのラリーは75%のリターン率

・3カメラ構成で400Hzを達成，カメラから3D状態推定まで遅延最大12.5ms