kidachi

Research Engineer. GPU computing, Real-time graphics, Machine learning. Contact:

[MBZ（マブじぃ） @J7i6EI1X7xDsey2]

これストック0でできるのかよ！すげえなぁ！

[kidachi @kidach1]

Claude DesktopからMCP（Filesystem, Git）経由でコード書かせて定額$20エージェント。Clineでクレジット溶けていくストレスから解放されるのは良いな

[kidachi @kidach1]

昨年の研究GaussMRについてACM SIGGRAPH blogにインタビューが掲載されました https://t.co/VNhBwKgxlP

My interview about GaussMR has been published on the ACM SIGGRAPH blog :)

[kidachi @kidach1]

Gaussian Splattingのレンダリングはもちろん、GPU culling, SDF building, SDF noise reduction, Collision detection, Fluid simulation等全てGPGPU上で動作しています。SIGGRAPH現地に大きなGPUを持って行くのが大変だったのでRTX2080を使いましたが、VR環境で60-90FPSで動作しました。

[kidachi @kidach1]

今年のSIGGRAPHは、Gaussian SplattingからSDFを構築し正確なコリジョンやインタラクションを付与するGaussMRを展示しました。SDFは毎フレーム更新で動的シーンも対応可能です。VRデモには6年前のGPU, RTX2080を使っていました (動画は実際のデモ画面)

Thanks to all booth visitors! #SIGGRAPH2024

[kidachi @kidach1]

Hello, Denver.

#SIGGRAPH2024

[kidachi @kidach1]

今回はあえてディテールの高い(ガウシアンが密な)植物を写し続けているのでカット率が大したことないが、より大規模なシーンでより自由に動くほど恩恵は増える

[kidachi @kidach1]

GaussianSplattingの視錐台カリングをGPUで自前実装テスト。このシーンではガウシアンの描画処理を120万個から40万個に減らすことが出来て高速化にかなり効く。

Frustum culling for GaussianSplatting ...

#Unity #GaussianSplatting

[kidachi @kidach1]

GaussianSplattingにおけるガウシアンの3D->2D投影処理は一般的なグラフィックスパイプラインから少々乖離していて、今オープンで出回っている実装は基本的にシーンの全ガウシアンを常にGPGPUで処理（全ガウス分、つまり数百万スレッドを毎フレームDispatch）しており非効率という課題があります。

[kidachi @kidach1]

ボロノイ図と距離場の密接な関係。最近傍母点へのポインタを保持・同色で可視化すればボロノイ図、最近傍母点への距離値表現（を可視化したもの）が距離場。PBAベースの実装で2D（1024^2≈104万要素）と3D（128^3≈209万要素）どちらも350FPS前後は出る #Unity

[kidachi @kidach1]

今年でACM SIGGRAPHの採択回数が6度目となりました（AR/MR分野）。これまでは内々での活動でしたが、今後は動きを広げて外部の方々と連携した研究開発・事業開発が出来ればと思っています。
SIGGRAPH投稿やXR技術活用へご興味ありましたら、お気軽にDM等頂ければと思います。

[kidachi @kidach1]

SIGGRAPH2024 ImmersivePavilionに採択されました。GaussianSplattingに対しSDF構築～流体等の物理インタラクション付与まで全てリアルタイムで行う手法の提案です
My latest research: "GaussMR: Interactive Gaussian Splatting with GPU Particles and SDFs" has been accepted at #SIGGRAPH2024 :)

[kidachi @kidach1]

@janusch_patas Thanks! It's scheduled to be published in the ACM Digital Library in the near future.

[kidachi @kidach1]

SIGGRAPH2024 ImmersivePavilionに採択されました。GaussianSplattingに対しSDF構築～流体等の物理インタラクション付与まで全てリアルタイムで行う手法の提案です
My latest research: "GaussMR: Interactive Gaussian Splatting with GPU Particles and SDFs" has been accepted at #SIGGRAPH2024 :)

[kidachi @kidach1]

Parallel Banding Algorithm（GPUで高速なボロノイ図構築）の実装が出来た。N=1024^2（≈104万要素）で200FPS超。以前実装したJFAは理想時間計算量O(log n)の達成にはN個のGPUコアが必要になる点がネックだった。実運用上はPBAはJFAより高速になるはず。 https://t.co/HAV1NIb9Da #Unity

[kidachi @kidach1]

粘性流体の凝集力の中心を任意移動する形でキャラ操作できるようにした。ユーザー入力に対してSDFとの衝突および簡易的な物理特性を持つコントローラーとして実装。流体シミュとは別クラス・別computeで管理、GraphicsBuffer経由で繋ぐ。#GaussianSplatting #Unity

[kidachi @kidach1]

cohesion（凝集力）の調整とrefraction成分を強めに出す、良い感じ。全てUnity上でのリアルタイムレンダリングです。

[kidachi @kidach1]

最近傍母点までの座標および距離値をlogN-1回のステップで全グリッドにFloodingする。Figure2が直観的。Fig2(a)のように近傍から順に埋めていく方式（doubling step）ではエラーが多く、Fig2(b)のように"Jump"させることで品質を上げている点がアルゴリズム名の由来でもあり面白い

[kidachi @kidach1]

SDF構築のベースとなるのがJump Flooding Algorithm。JFAはボロノイ図および距離変換を並列処理でO(logN)で求める（Nはグリッドサイズ）。GPUの活用および、母点数の増加に対して計算複雑度が変わらない点が当時の既存手法との差別化 https://t.co/rASsYOgPpx

[kidachi @kidach1]

GaussianSplatting x リアルタイム粘性流体。3D GaussianとFluid Particleそれぞれ毎フレームSDF更新して衝突検知しつつ、Fluidはレイマーチングで描画。割と汎用的な仕組みにしたので話題のScaniverseで生成した.plyにも適用出来る、色々試そう

[kidachi @kidach1]

GaussianSplatting x リアルタイム粘性流体。なんか不思議ゲームのアイディア出来そう？ #Scaniverse

[kidachi @kidach1]

100万パーティクル