Super PINTO

Hobby Programmer. Caffe, Tensorflow, NCS, RaspberryPi, Latte Panda, ROS, DL, TPU, OpenVINO. Intel Software Innovator. The remarks are my personal opinion.

[Super PINTO @PINTO03091]

各種モデル、デモスクリプト。 ※固定用
https://t.co/nYYiAZWMHP

[Super PINTO @PINTO03091]

545億PINTOってなんだよ。意味がわからん。

[Super PINTO @PINTO03091]

@panzonhl For security reasons, access is by permission only. I've granted you permission now, so please confirm.

[Super PINTO @PINTO03091]

３日間の最新モデル検証の結果を受けて判断したこと。
1. 3Dメッシュはかなり筋が悪い
2. 既存の論文実装の2D/3Dキーポイント推定はまだまだ性能が期待値未満
3. MediaPipe の Hand Pose の性能を遠距離に対応したバージョンの新モデルで置き換えたい
4. おそらく、WholebodyXX で人体全体のコンテキストを獲得済みなので収束は良好になる想定
5. MediaPipe はアフィン変換地獄なので、アフィン変換しなくても性能が出せるようにしたい
6. 物体検出モデルと Hand Pose の推定を１アーキテクチャに統合したい

[Super PINTO @PINTO03091]

３Dメッシュにすると、かなり出力が誤魔化されている雰囲気がある。とても良く見えるけど、結構出力が雑な気がする。

[芝村ひばり / Hibari Shibamura @skylark_mmm]

ロボットアーム【Nightingale01】には、住友化学新開発のLCPフィラメントをグーテンベルク(
@gutenberg_3D
)の3Dプリンターで造形したハンドが搭載されています。

デモの一部をご覧ください
①コーヒー☕

#V_Sido #ハルモニウム

Youtubeはこちら↓
https://t.co/pgZD3t2eCt

[Super PINTO @PINTO03091]

WiLoR から ultralytics の依存を完全排除して試したけど、こんなもんなの？ あまり感動しない結果だな。なるほど。3D レンダリングのSOTA性能ってこういうレベル感なのか。完全に理解した。

[Super PINTO @PINTO03091]

6個の倒立振り子を成功させるのはど素人で無知な僕でもヤバいという感覚がなんとなくある。

[Super PINTO @PINTO03091]

例えば、人の高速で複雑な動きから行動を分析するとき、情報密度が疎なキーポイントが適切な情報源となりうるのかどうかを真面目に考えたことがあるだろうか？なお、分析では綺麗な連続する静止画を対象としない。激しいblurが発生する映像のみを対象とする。

[Super PINTO @PINTO03091]

キーポイント検出ぐらい世界モデルである程度できるのはもちろん知っているし、昨晩の動画の何がダメなのかももちろん分かっているけど、そもそも「できる」の感覚とレベル感が僕はみんなのそれとかなり違う気がする。

[Super PINTO @PINTO03091]

まず、ultralytics を依存から完全削除する作業から初めている。

[Super PINTO @PINTO03091]

実際には、VGAで15x15ピクセル未満のサイズになる5メートル以上離れた位置でも推定に成功しなければ僕の品質基準には満たない。握りこぶしを振ってもスコアは上がらないが、手のひらを広げた状態のときだけ手振りスコアが上がるモデル。CPU で 0.34ms/推論 の 3D-CNN。LSTMは遅過ぎる。

[Super PINTO @PINTO03091]

@Kumar4Vruddhi47 I have never tried YOLOv8, 10, or 26.

[Super PINTO @PINTO03091]

ダメだこりゃw

[Super PINTO @PINTO03091]

絶望したので寝る。

[Super PINTO @PINTO03091]

Z軸が取れているこっちのほうがマシだな。中距離から遠距離の問題をどう解決するかだけで。

[Super PINTO @PINTO03091]

たぶん Hand Pose 系のアーキの設計思想が根本から間違っている気がする。

[Super PINTO @PINTO03091]

気が重い。またアノテーションするのか。。。

[Super PINTO @PINTO03091]

なんていうか、なんだろ。自分で作らんと全然ダメだわ。期待しすぎた僕が間違ってた。

[Super PINTO @PINTO03091]

SMPL/MANO のレンダリング位置がズレすぎてイマイチな感じ。3D モデルはどうでもいいから 2D に変換してしまおうかな。もう少し調整してみる。ただ、左右の手の交差と指の動きにはめちゃくちゃ強いっぽい。

[Super PINTO @PINTO03091]

論文を書いていないし、なにもアピールしていないのに自作リポの Star が勝手に伸びてる。謎。CVPR2025 より性能はだいぶ高いけど。 "gazelle-dinov3 - A model for activating human gaze regions using heat maps. Built with DINOv3."
https://t.co/LaiuGxnwiu