monoradio

ものづくりが趣味です
Store:

[monoradio @monoradio102]

Gaussian Splattingで背景イラストを3D化して、VRMキャラを歩かせてみた。

上が元の絵、下が同じ瞬間を別の角度から見たものです。

使ったのは
「キャラのVRM」と「背景イラスト1枚」だけ。
ブラウザで実際に触れるデモも作りました👇
リンクはリプ欄に。

#GaussianSplatting

[monoradio @monoradio102]

ここで実際に試せます
https://t.co/ovhfUn9ak0

[monoradio @monoradio102]

MiniMax-H3 + ORB360 LoRAで画角を自由に動かせる漫画を作ってみた。

キャラを参照画像で渡せば、顔も固定できる。

[monoradio @monoradio102]

OpenAI Decisions APIで運転できるか実験してみた。

画像を見せながら曲がるかどうか、二者択一をひたすら判断してます。
一時停止があったら、止まることもできました。

[monoradio @monoradio102]

デモページ: (音声データが重めです)
https://t.co/YTbXpDNr3I

[monoradio @monoradio102]

AI音声のElevenLabs v4が12日まで割引なので、贅沢に使って居酒屋ASMRを作ってみた。
環境音や効果音も全て生成です。

試聴できるページをリプ欄に置いてます。

[monoradio @monoradio102]

OpenAIのDECISIONS APIが出たので、早速トロッコ問題を解かせてみた

1人が半魚人なら無問題、とはならず、なぜかむしろ躊躇う結果に。
AIの前では、人も半魚人も宇宙人も平等な命なんですかねぇ

[monoradio @monoradio102]

@airi_ai_navi あえて背景に部屋や街並みを詳細に描き込んだ状態で回すと、COLMAPが破綻せず姿勢が取れました（最初 単色背景でやって失敗しました）
3DGSの状態を確認できるビューアも置いてみました👉
https://t.co/dxbJbuNciK

[monoradio @monoradio102]

1枚のイラスト→360°動画→3Dガウシアンスプラッティングできるか試してみました。
上：MiniMax-H3 + ORB360 LoRAで生成した動画
下：それをCOLMAP→3DGSで復元し、キャラだけ切り出し

完璧ではないですが、一貫性は保てています。

#GaussianSplatting #3DGS #MiniMaxH3

[monoradio @monoradio102]

最近、学生時代に挫折した研究アイデアを、AIを助手にしてもう一度やり直してる。

青春が帰ってきたみたいで、嬉しい。

[monoradio @monoradio102]

3Dなのでグリグリ動かせます

[monoradio @monoradio102]

MiniMax H3

[monoradio @monoradio102]

磁界観察シートが手に入ったので、実験してみた。

BGMと連動してます。

[monoradio @monoradio102]

@99JasonKim Thank you! I used Apple SHARP for this.
It generates the Gaussian splats directly from a single image, along with a depth map.

[monoradio @monoradio102]

Gaussian Splattingで背景イラストを3D化して、VRMキャラを歩かせてみた。

上が元の絵、下が同じ瞬間を別の角度から見たものです。

使ったのは
「キャラのVRM」と「背景イラスト1枚」だけ。
ブラウザで実際に触れるデモも作りました👇
リンクはリプ欄に。

#GaussianSplatting

[monoradio @monoradio102]

@alnooraniii Left: depth map from SHARP. Middle: reconstructed walkable mesh. Right: click position found by raycasting against that mesh.

[monoradio @monoradio102]

@alnooraniii Yes, a hidden ground mesh. The splat model also outputs a per-pixel depth map; I turn that into a coarse mesh, keep the upward-facing faces, and fit the ground plane. A click is a raycast from the camera against it. It's never rendered, only the splats are.

[monoradio @monoradio102]

https://t.co/f5tI7fLd92

読み込みに時間がかかります。
（地面をクリックするとキャラが寄ってきます／「自由視点」を押すとでぐるっと回せます／VRMをドラッグ&ドロップでキャラを差し替えられます）

[monoradio @monoradio102]

AIに「5万円くらいで、小さな作品が綺麗に撮れて、ピントの調整とかも簡単で、PCで制御できるカメラないかな」って相談してたら、
最終的に「5万円でカメラを作る」ことになった

[monoradio @monoradio102]

「スマホをかざすと光る」作品を作りたくて、NFCでLEDを光らせる実験

▼ わかったこと
・コイルとLEDだけだと、スマホは「タグじゃない」と判断して磁界を止めてしまう
・URLを書いたタグを添えると、磁界を出し続けてくれた
・その電力でマイコンを動かして、点灯パターンも自由に作れた

#電子工作

[monoradio @monoradio102]

ビームスプリッターを使った透過ディスプレイの実験。
Claude Code と連携させて作業状況を表示してみた。

ちなみにこのビームスプリッター、50mm角で6000円くらいしました…