Obarads

CV(3D) / RC2015~2017 発言は個人の見解であり，所属する組織の公式見解ではありません．

[Naoya Chiba @n_chiba_]

MIRU2026 チュートリアル講演2「三次元データ処理の動向」の資料を公開しました！
https://t.co/193DVjWzMN

貴重な機会をいただきありがとうございました

[Ryohei Sasaki@engineer @rsasaki0109]

GaussianGPT: Towards Autoregressive 3D Gaussian Scene Generation
ECCV2026
https://t.co/DmVZ59AmAs
Most recent advances in 3D generative modeling rely on diffusion or flow-matching formulations. We instead explore a fully autoregressive alternative and introduce GaussianGPT, a transformer-based model that directly generates 3D Gaussians via next-token prediction, thus facilitating full 3D scene generation. We first compress Gaussian primitives into a discrete latent grid using a sparse 3D convolutional autoencoder with vector quantization. The resulting tokens are serialized and modeled using a causal transformer with 3D rotary positional embedding, enabling sequential generation of spatial structure and appearance. Unlike diffusion-based methods that refine scenes holistically, our formulation constructs scenes step-by-step, naturally supporting completion, outpainting, controllable sampling via temperature, and flexible generation horizons. This formulation leverages the compositional inductive biases and scalability of autoregressive modeling while operating on explicit representations compatible with modern neural rendering pipelines, positioning autoregressive transformers as a complementary paradigm for controllable and context-aware 3D generation.

[にたも @iqm]

飲み会に使う居酒屋の下調べしてたら、NVIDIA革ジャンコースができててﾜﾛﾀ

[Namihei Adachi @7oei]

皆はミヤマクワガタの点群持ってる？？？？
俺は持ってる！！！！

[Tom Dörr @tom_doerr]

Encoder for 3D point cloud tasks

https://t.co/xgVZz9EzFk

[Daisuke Okanohara / 岡野原 大輔 @hillbig]

SAM3Dは単一画像から形状、テクスチャ、レイアウトを高速かつ高精度に推定する生成モデルである。従来困難であった遮蔽を含む複数物体を含むシーンも扱える。

画像から3D復元するには情報が不完全であり、推定するには予測が必要となる。人は単一画像からでも距離や形状を知覚できるだけでなく、遮蔽があっても推定できるので解けるとは考えれ知多。また、既知物体だと認識できれば、そこから残りを推定できる。こうしたことから、問題は解ける可能性がある上、認識は3D再構成を可能にすると考えられてきた。

一方機械学習によるアプローチで最も難しいのが大規模、多様な学習データセットを構築することであった。特に姿勢推定や3Dメッシュなどは人手で作るのも大変である。

この実現には大規模な3Dアノテーションデータが必要だが、人手では限界があった。そこでこれまでにない規模の人工データと、合成データで事前学習・中間学習を行った後、人手で作成したデータで事後学習（SFT, DPO）を行った。

物体は、形状S、テクスチャT、回転R、平行移動t、スケールs（カメラ座標系）で表される。画像Iと物体マスクMを入力とし、上記の推定をする条件付き生成を学習するのが目標である。
p(S, T, R, t, s | I, M)
まず、入力画像からDINOv2を使い、切り出し画像と全体画像を抽出する。場合によっては荒い点群も入力とする。

これに続いて形状・レイアウトを予測する形状モデル（1.2B）はMixture of Transformerを採用し、フローベースで、荒いボクセル形状とレイアウト（R, t, s）を同時に生成する。

次にテクスチャと高精細化を行うモデルを学習する。まず荒い形状から物体の存在する領域のみ抜き出し、次にSparse Latent Flow Transformer（0.6B）を用いて、高精細な形状とテクスチャ（S, T）を推定する。

最後にメッシュもしくは3D Gaussian SplatをVAE（モデルサイズは不明）を用いて推定する。このVAEは同じVAEエンコーダーを共有することで共通の構造かされた潜在空間を持つ。

===
学習はLLMなどで成功している大規模生成モデル学習を応用する。

最初の事前学習では孤立いた孤立オブジェクトをレンダリングしたデータを用いて3D形状とテクスチャを復元する能力を学習させる。

Objeverse-XLやライセンス提供されたデータセットを用いて24方向からレンダリング、単一の中心物体が写った高解像度画像を生成。このデータセットをIso-3DOとよぶ。
事前学習では2.5兆トークンで学習。フローマッチングを利用。
次に半合成データで、マスクに従って特定物体を出力する能力、遮蔽物がある中での形状推定、カメラ座標系での位置・スケール推定する能力を獲得する。

3Dメッシュで作った画像を自然画像に張り合わせ、合成＋実画像が混ざったデータを作る。物体同士を部分的に隠し合うデータ、実画像の物体を同じ位置・スケールの合成物体に置き換えたデータを作る。このデータセットをRP-3DOとよぶ。
RP-3DOは6100万サンプル、280万種類のメッシュかなり、この中間学習は2.7兆トークンで学習。フローマッチングを利用。
最後の事後学習では合成データと自然画像のドメインギャップを埋めること、人間の形状・美的な判断基準をモデルにあわせることを目標とする

学習データは、現時点のモデルをもちい自然画像からアノテーション候補を生成し、それを人間が評価・選択を行う形で作られる。また収集したデータを用いてSFT，DPOを行い複数段階でモデルを改善する。この改善されたモデルで再度データを作成する。このループを回すほどモデル性能が着実に向上する。

また、すごく難しいような例では高品質な正解例が得られないため、プロの3Dアーティストが直接作ったメッシュの正解も作る（Art-3DO）。
最終的に100万枚の画像、314万枚のテクスチャ無メッシュ、10万のテクスチャ付メッシュの事後学習用データセットを作成した。これを用いて、ベースモデルを段階的に学習を進めていく。人間の好みについては、例えば対称性（左右対称など）、形状の閉じ具合、バランスといった形状品質を鍛えることができた。

最後にGeometryのモデル推論速度を改善するためフローマッチングの関数評価回数を25から4に削減する蒸留も行った。

コメント
===
単一画像からの3D理解はグランドチャレンジの一つとされ、これまで多くの研究がなされてきたが今回の成果は大きな一歩といえる。
特に大規模データセットを合成・半合成・実世界データをうまく事前・中間・事後学習で設計し、これらを作りきり・学習しきった部分は大きな成果といえる。技術面では、フローマッチングやその蒸留で安定した大規模学習や高速な推論ができてきたいた他、技術が確立されているLLMなどから、（おそらく）学習・推論エンジンや、学習手法を導入しており、突然できたというよりは、着実な漸進的な進化といえる。

学習規模とすれば、数Tトークン、モデルサイズは1B弱ということで大規模だがLLMなどと比べればまだまだ大きくすることは可能である。

今後は3D編集や、ダイナミクスへの対応などもある他、自然言語などやデータベースに書かれた他の知識との統合も重要となる（既にRadience FieldやDINOのような情報と組み合わせている例は多くある）。

[arutema47 @arutema47]

https://t.co/8irC00APbq
LiDAR本をJAXA水野先生、ソニー熊谷さん、北陽嶋地さん、石上先生と共に執筆しました。
LiDARを深く理解したい方にオススメです！

[YOSHIDA SHIRO @YOSHIDASHIROU]

東京の航空レーザー点群データが、ついにオープンデータとして公開されました👏

23区全域という規模感もさることながら、街路樹や横断歩道の縞模様の1本まで忠実に位置が再現されていて凄いです❗️

絶対位置精度については、暫定的な評価として10cm以内に収まっているように感じられ、非常に高品質なデータです。

比較検証には、都内で点群精度評価用に作成された基準点群（TLS・GNSS-static）を使用しました。位置補正（ICPなど）を行わず、CloudCompareのC2C distance機能を用いて、生データのまま精度評価を実施しています。

現在は一部地域での評価結果のみですが、都内全域で同様の精度が得られれば、業務用途にも活用できる素晴らしい品質だと思われます。

この素晴らしい成果に携わった東京都とプロジェクトチームの皆様に改めて感謝🙏

今後のさらなる評価検証や応用の展開が楽しみです！

#東京都デジタルツインプロジェクト
#点群オープンデータ

[ダックビル＠STUDIO DUCKBILL LLC @DuckbillStudio]

え！？これどういう事？
3Dスキャンデータ内をフリーテキストで検索・セグメンテーションできるのか。

[Francis Engelmann @FrancisEngelman]

New release of #PyViz3D 🚀-- directly render 3D point clouds, graphs and more in @Blender 🤹🏻‍♂️

👩‍💻Code+examples: https://t.co/Aoq9wih2Rf
🛠️Install: pip3 install pyviz3d

Good time to create beautiful figures for your @eccvconf supplementary or @CVPR workshop submissions✍️⏰

[nerfstudio @nerfstudioteam]

🎉 V1.0.0 officially released!

* New splatfacto model, nerfstudio's implementation of Gaussian splatting
* Complete rewrite of the viewer, now built entirely on viser

[arutema47 @arutema47]

https://t.co/4a3w10cPk3
わお、有り難い公開資料だ

[渡邉英徳 wtnv @hwtnv]

能登半島地震フォトグラメトリ・マップはこちら:

https://t.co/8lKME7VwAE

[ダックビル＠STUDIO DUCKBILL LLC @DuckbillStudio]

何か依頼があったわけではありません。国土地理院空中写真の3Dモデル化はダックビルが会社機材を用いてボランティアで行っています。
今回のような著作権的に問題ない映像素材からの3D化に取り組む方がいると分担できるという判断です。

[ダックビル＠STUDIO DUCKBILL LLC @DuckbillStudio]

フォトグラメトリによる3D化に挑戦してみる方いませんか？
【空撮・能登半島地震】2024年1月6日撮影（志賀原子力発電所・輪島市總持寺祖院など）FNNの空撮ヘリ映像をまとめて公開※公的機関、民間問わずご... https://t.co/kmagv1rVjs

[goto @goto_yuta_]

【ゆるぼ】
LLMの出力の質を評価する指標

[Ryohei Sasaki@engineer @rsasaki0109]

NVIDIA-AI-IOT/cuPCL
cuPCL has some libraries used to process points cloud with CUDA and some samples for their usage.
https://t.co/6Vy4evmULy

[AK @_akhaliq]

Point-Bind & Point-LLM: Aligning Point Cloud with Multi-modality for 3D Understanding, Generation, and Instruction Following

paper page: https://t.co/hcrwbkSP1Q

introduce Point-Bind, a 3D multi-modality model aligning point clouds with 2D image, language, audio, and video. Guided by ImageBind, we construct a joint embedding space between 3D and multi-modalities, enabling many promising applications, e.g., any-to-3D generation, 3D embedding arithmetic, and 3D open-world understanding. On top of this, we further present Point-LLM, the first 3D large language model (LLM) following 3D multi-modal instructions. By parameter-efficient fine-tuning techniques, Point-LLM injects the semantics of Point-Bind into pre-trained LLMs, e.g., LLaMA, which requires no 3D instruction data, but exhibits superior 3D and multi-modal question-answering capacity. We hope our work may cast a light on the community for extending 3D point clouds to multi-modality applications.

[Runsen Xu @runsen_xu]

🌪️ Despite the ongoing super Typhoon Saola in Hong Kong, I'm excited to introduce PointLLM! 🌈🔍 It's a multi-modal large language model that understands point clouds. 1/4🧵

🔗 Demo: http://101.230.144.196
📄 Paper: https://t.co/nSbUkqUaV4
💻 Code: https://t.co/SX7r3ClzX3

[Stability AI Japan @StabilityAI_JP]

大変お待たせいたしました🙇
先月リリースしましたStableCodeについてのご案内のブログを日本語化しました。
興味はあるけど、英語か…と思われていらした皆様、ぜひご覧いただけると嬉しいです。

https://t.co/p12SALlD3w