t-hanya

エンジニア（ソフトウェア・機械学習）。Deep Learning / Computer Vision / 最近は趣味でLLM

[t-hanya @hanyacch]

Blender x Coding Agentで、3Dモデル部品をコードとして蓄積しつつ、人間とAIが確認しやすいようにカタログ化する仕組みがかなりいい感じに運用できていたので、簡単にですがブログに書きました。
https://t.co/Zf8TPv1bS7

（画像は作った部品を組み合わせたやつです。）

[t-hanya @hanyacch]

コードリポジトリを都市、コードやドキュメントのディレクトリを施設と見立てて、3Dマップ上で全体を俯瞰しつつ指示を出せるようなアプリを試作中。Coding Agentが住人で、活動を通じて都市が発展していくような。

[t-hanya @hanyacch]

Blenderで音楽を入力にアニメーションを制御する動画を見かけたのでCodexとClaudeでやってみた。試作はCodexでやったけど、ClaudeのFable 5で作ったやつが一番カッコよかった（音が出るので注意

[t-hanya @hanyacch]

@fe_yukichi コメントありがとうございます！threejsの作品、素敵だなと思ってブックマークして何回も見てました。ブログ記事、何かの参考になれば幸いです。

[t-hanya @hanyacch]

CodexでBlenderを操作し、大きめの構造物を作る取り組みについて、久々にブログを書きました。うまく動作するようになったポイントについても説明しているので、興味があればぜひ読んでみてください。
https://t.co/hd5z0hfSCu

[t-hanya @hanyacch]

VRoidを中央に召喚しCyclesでレンダリングしてみた（ここは手動

[t-hanya @hanyacch]

Codex x Blenderでステージを作成し昨日作ったドームと統合。大きめの構造物を作ってもらうには、作りたいもののイメージを伝えつつ、必要な部品を列挙してもらい、それらの位置関係の整合性を取る方法と、部品ごとにリアルな見た目にするための方法を、計画段階で具体化するのが鍵な気がする。

[t-hanya @hanyacch]

この前作ったペンライト群とドームモデルを統合。ステージ部分がとりあえずのプレースホルダーだけど、うまく統合できている。

[t-hanya @hanyacch]

Codex x Blender、いろいろ指示の出し方の調整だったり、部品実装の粒度のやインターフェースの工夫だったり、レンダリング結果の確認手段の改善などをやってきて、長時間自走させて複雑なモデルを作ることに成功した。もう少しいろいろ試して再現可能なやり方として整理したい。

[t-hanya @hanyacch]

引き続きCodex x Blender。一気に全体をモデリングさせるとそれぞれ雑になるけど、1つずつ要素を絞って作りたいもののイメージをちゃんと伝えつつ、完成物にフィードバックを繰り返すと結構しっかり作れそうな感触になってきた。これはペンライトに絞った例で、配置パターンや動きを実装してもらった。

[t-hanya @hanyacch]

ChatGPTの長文返答を全部読むの大変なのでHTMLで出力してもらうようにしたら少し理解が楽になった。しばらくこれにしてみよう

指示例：

以下の資料をもとに、設計の具体化をお願いしたい。SVG等で図などをうまく使いながらHTMLドキュメントとして出力お願いします。

＜手元で書いたメモ＞

[Thariq @trq212]

https://t.co/MXt5XS4xBX

[t-hanya @hanyacch]

VRoid Studioでステージ衣装風のキャラを作って配置。コード制御で動きをつけようとしたけどうまくいかず断念。スクリーンのコンテンツはシンプルなものならコードで生成できた。ここまでの試行錯誤結果を整理してレンダリングしてもらったら一応それらしくはなったか。いやCodexすごい。

[t-hanya @hanyacch]

カメラの動かし方を20通り考えて関数実装してといったらわりとすんなり作ってくれた。対象が動くともう少しいろいろ考えないといけないのだろうけど。しばらく眺めてたらなんか白い箱が有名なアーティストなのではないかと思えてきた笑

[t-hanya @hanyacch]

ライブシーンの背景のCodex x Blenderももう少し深掘り中。前回はコンセプト画像から直でBlenderモデリングだったけど、今回は実際のドームの構造を念頭にフロアプランを画像生成で作ってもらって、それをインプットにモデリングしてもらったら立体的な配置が改善した。

[t-hanya @hanyacch]

机のバリエーションをCodex x Blenderで生成するテスト。基本形状、マテリアルを生成する関数を部品化しつつ、それを組み合わせて10種類作るように指示。なかなかそれらしい出来になっている

[t-hanya @hanyacch]

引き続きCodex x Blenderの検証。今度は机とか棚とかアセットを1つずつ作ってもらって、それを後から組み合わせる作戦。形状はそれらしくなったけど、まだまだ改善の余地あり。アセットカタログ（HTML）作ってもらったら作業進捗みるのが楽しくなって良い感じ。

[t-hanya @hanyacch]

部屋の写真を画像生成で作って、それを手本にCodexにBlenderでモデリングを依頼。頑張ってはいるけれど、そもそもレイアウトも違うし形状おかしい部分もありまだまだ。

[t-hanya @hanyacch]

Codex x Blenderで3Dモデリングができるかお試し中。ライブシーンの背景を作ってと依頼したら微妙だったので、画像生成してコンセプト画像作ってもらってから、これをモデリングしてと頼み、まだ微妙だからもう一回見比べて差がなくなるようにブラッシュアップして、と頼んだらここまできた。

[OpenAI @OpenAI]

We released two open-weight reasoning models—gpt-oss-120b and gpt-oss-20b—under an Apache 2.0 license.

Developed with open-source community feedback, these models deliver meaningful advancements in both reasoning capabilities & safety.

https://t.co/PdKHqDqCPf

[t-hanya @hanyacch]

コードはこちらで公開しています
https://t.co/OXUzFsDQyN

[t-hanya @hanyacch]

LLMと一緒に創作をするためのUIを考えて試作してみました。テキストファイルを参照しつつ対話したり、テキストファイルにプロンプトを書いておくとボタンから生成がキックできたり、ちょっと面白い感じになったので久しぶりにブログを更新しました。
https://t.co/eLwmIrUWqQ