おかちんJr.

AIの勉強会をしたりしています。
個人サイトもあるので見てください。

[おかちんJr. @okachinJr]

前からちょいちょい作っていた個人サイトがとりあえず完成したから見てほしい！Codexで作った！

AI使うと、洗練された印象のデザインは作りやすいけど、ドット感を感じるレトロなデザインは結構難しい印象がある。

多分学習する上でのデータ数的な話もあるだろうし、Webサイトのそれっぽさを求めようとすると、洗練されて見えるデザインになるんだろうなと。

下手な指示を��すとめっちゃ簡素でダサいデザインにされてしまう。

そんでもって今回のサイト作りで改めて思ったのは、目の良さがめっちゃ大事だなと。

いわゆる美的センス的な話で、私はそういったセンスが壊滅的なものの、これまでの趣味が高じて無駄に目が肥えているので、生成物に対して違和感を感じ取ることができる。

そうなると、違和感を感じた部分に対して、どういった修正が有効かをCodexと話して、修正方針に納得がいけばパターン違いで複数個提案してもらう。

違和感に気が付ける人はこんなやり方でもデザインをブラッシュアップしていけるし、なんでダサいのかを言語化してもらうことでデザイン的な知識もちょっとずつ身につくのでとてもおすすめ。

https://t.co/2v4zocZrln

[おかちんJr. @okachinJr]

ただでさえAIはパワハラし放題だし、言うことなんでも聞くし、同じこと何回聞いても怒らなかったのに、dotさんのおかげで能動的に動くようになってしまったらとうとう人間と働く意味とは？ってなるな

[おかちんJr. @okachinJr]

クラウドで動作するエージェントって聞くとManusもそうだしCodexだってCloudで使えたし、なんならWorkもあるじゃんって思ってしまうけど、仮想コンピュータのカスタマイズ性が高いからdotの方がいいよね。

常駐型エージェントって聞くとOpenClawとかhermesが思い浮かぶけど、ハードルが段違いだし、OpenAIが用意したハーネスで動くのがいいよね。

クラウドのWorkでスケジュールタスク組んどきゃいいじゃんって思うけど、ChatGPTのスケジュール機能は昔から挙動が悪くて、よ��止まるから体験的にdotに軍配が上がりそう。

ChatGPTとコン��キスト共有できるし、自分で気づいてよしなにやってくれるし、裏でAstra動いてるのにusage食わないし

冷静に考えるとかなり強いな。

問題なのはそれを活かせない私の方でした。

[おかちんJr. @okachinJr]

ちょっとだけdot触ったメモ。認識違ってたら有識者教えてください。

dotの強みの1つは仮想コンピュータとブラウザを持っており、ソフトウェアのインストールもできること。

これ自体はManusとかも同じな訳で、そんなに新鮮さは感じないものの、dotのコンピュータは自由度が高そうなのがポイントっぽい。

ユーザーが自由にカスタマイズできる仮想コンピュータを持つ常駐型エージェントって聞くと確かにいいなあとはなる。

なによりPC持っていなくてCodex使えなかったライト層も気軽にCodex使えるようになるのは熱い。

その割にProプランしか使えないのはいただけないけども。

仮想コンピュータにはBlenderとGodot入ってるからOpenAI的にもAI×ゲームの波が来てると認識してるのかな？デフォルトで入ってるのは謎すぎる。

一番の強みはこちらがトリガーを与えなくても自分で気づいてタスクを開始してくれるところな気がする。

秘書業務任せるなら本当に最高だと思う。

だからこそdot系の常駐型エージェントは仕事で使いたいんだよなあ

僕の場合、常時稼働PCがあるからリモートでタスク投げれるし、スケジュール設定したタスクも実行してくれる。

個人の趣味でAI使っているから、秘書的作業が本当にない。

なのでdotのありがたみをいまいち享受できない、、、

やるならChatGPT内に蓄積されたコンテキストとCodexのセッションログからnote記事になりそうな内容を抽出して下書き作成させとくとかかなあ。

コンテキスト引っ張ってくるのがうまいなら興味分野の情報収��+ニュース配信はdotにやらせても良さそう。

どっちにしてもGrok botを皮切りに急速に広がってるから、使ってかなあかんよなとは思う。

[おかちんJr. @okachinJr]

モバイルアプリからCodexをリモート接続する機能に障害が発生しているらしく、新しい端末を追加できない模様。

直近でスマホを変えたわいも、もれなく影響受けており、リモートでCodex動かしたいがために旧端末も持ち歩くという愚行に及んでいるなど

[おかちんJr. @okachinJr]

@e_page Tripoテンプレのモーションであっても調整は必要ですね。細かい調整はこっからですね。

[おかちんJr. @okachinJr]

3Dキャラクターの歩行モーション。
左がBlenderで右がTripoのテンプレートを使用したもの���

Tripo優秀すぎるな。
というか動くと愛着沸くよねえ。

とはいえ環境整備していけばCodexとBlenderだけでもモーションの作成はできそう。

どちらが安くなるかはやってみな分からんね。

[おかちんJr. @okachinJr]

3Dキャラクターを作成する際はパーツごとに生成して、Blenderで組み合わせる方法と、全身を一括で生成する方法があるそうで、���度を求めるのであれば前者の方がいいみたい。

とはいえ前者の工程を選択した場合、Blenderのドメイン知識がないとパーツを繋ぐのが難しそうだったため、全身を一括生成する手法を取ってる。

それが影響しているのかは分からんけども、モーションをつけると服と素肌部分に隙間ができる。

ほぼほぼ100%発生する。
左側の膝を見るとぱっくりいっちゃってる。

右が修正後。

これに関しては、ウェイトを調整すれば簡単に直せたので、そもそものパイプラインに検査とウェイト調整の項目を入れといたほうがよさそうね。

[おかちんJr. @okachinJr]

私もdotsで驚きたいのに新しいスマホが届いてそっちに夢中ですわ。

[おかちんJr. @okachinJr]

キックモーション。

なぜか初回作成時は進行方向に対して、90度方向に蹴りを繰り出していたので、Blenderで修正。

蹴る方向だけではなく、それに追従して動作する軸足や顔の向きなども注意しないとかなり違和感のある挙動になったので、そのあたりの調整は必要。

た���、一度作成したモーションはリターゲット処理で再現できたので、まずは1キャラでモーションを作りこんで、それをリターゲット処理をベースとしたスキルで他キャラに移植していくのがよさそう。

[おかちんJr. @okachinJr]

これはさすがに意識しすぎでわろた

[OpenAI @OpenAI]

Get ready.

[おかちんJr. @okachinJr]

Codexで2.5頭身キャラのモデル作成中。
検証用のモデルのため、見た目は一旦妥協で。

最初はCodexとBlenderだけで、こういったキャラクターモデルを作成できないかと色々やっていたんですが、かなり難しい。

健闘虚しく結果的にTripoで生成しています。

Codexでうまいこと生成できたとしても、トーン消費量を考えると、コスト、速さ、精度の面でTripoに軍配が上がる印象です。

[おかちんJr. @okachinJr]

AI時代で誰でも何でもできるからこそ、各領域の知識や知見を得るために泥臭く時間をかけて調査検証するのは大事だし、結局一番大事なのは気合だなと。

最近はありがたいことに人にAIを教える機会が多いので気が付いたんですが、AIに聞けば分かることをAIに聞く前に聞いてくる人がめちゃくちゃ多い。

分からないことがあったらAIに聞く。
それでも分からなければ詳しい人に聞いてみる。

ある程度のことはAIに聞けば理解できる時代なので、これが���ついていないと、その人自体の評価も下がっていくような気もしてます。

これができるかできないかは、その人自身の自走力にも大きく影響するので、エージェントを使いこなせるかどうかもここで決まってきそう。

私は質問されたらなんでも回答するようにしていますが、それがいいことなのかどうかも怪しい。

ある程度突き放して、まずはAIに聞くことを癖付けさせる方が長期的にはその人のためになるのかなあなどと考えてる。

なんでも自分でやろうとする気概と自分が納得するまでやりきる気合が大事。

AI時代に大事なのは昭和回帰かもしれない

[おかちんJr. @okachinJr]

やばいぞ
ゲーム作りとモデリングが楽しすぎる、、、

ゲームとモデリング���ること自体も楽しいけども、それに伴うハーネス整備が楽しすぎる。

今は3Dモデリングの制作パイプラインを構築しているので、ひたすらに実践とコンテキストの蓄積、スキルのブラッシュアップを行ってる。

これまでもCodex使ってきてて、コンテキスト整備とハーネス整備はそれなりにやってきたつもりだったけど、規模感が違うのでやりがいがありすぎて楽しい。

思ったのは、ゲーム作成やモデリングを生業としている人たちの凄さですね。

私はAIがなかったら絶対にできないし、心が折れる作業なので本当にリスペクトです。

何より素人の私がゲームとモデリングという領域に挑戦する上で、先人たちの知見が本当に役に立っているので感謝でしかない、、、

[おかちんJr. @okachinJr]

今回のゲームではCodexとBlenderだけで3Dモデルを用意できたものの、3Dゲームや人型キャラクターを使用するのであれば、Tripoなどの別サービスは必須だなという印象。

人型キャラクターについては、素人ながらに色々検証してみてある程度の形にはなったけども、満足のいくクオリティには届かない。

ドメイン知識のある人なら話は別だと思うけど、大人しくTripo使った方がいいなと。

CodexとBlenderだけでモデリングした後に、Tripo使ってみると本当に感動する。

[おかちんJr. @okachinJr]

2.5Dの横スクロールアク��ョンゲームです。

アセットは全て3Dモデルを使用していますが、CodexとBlenderで問題なく作成可能でした。

昔Blenderに挑戦して挫折した身としては、Astraによるモデリングのありがたみが身に沁みすぎた、、、

技術的な部分はCodexに任せられるため、ゲームの作りこみだけに集中できるので、体験としてかなりいい。

自分の頭の中にあるものを簡単に形にできる環境が整っているわけなので、そりゃゲーム作る人増えるよなあと感じましたね。

https://t.co/c5Eo9GjcCS

[おかちんJr. @okachinJr]

ちなみに最近の気づきは、UIだけではなくBGMや効果音のタイミングもユーザーが編集してCodexに伝えるUIを作れば無駄なラリーを減らせるってこと。

今作っているゲームのボス戦を例にすると、

1. 通常エリアのBGM
2. ボス部屋に入る
3. BGMが停止
4. 入口が閉まる効果音
5. ボスの咆哮
6. ボス戦のBGM

みたいな感じで、BGMと効果音の切り替えが大量発生する。

この時の切り替えをCodexに任せると、かなり気持ち悪いタイミングにしてくる。

なんかしっくりこないというか、なんでそのタイミングでBGM鳴らすの、、、みたいな感じ。

こういう感覚的な修正はコンマ何秒単位での指示が必要になるので、文章のみの指示では正確な修正は無理。

なので各種音源の切り替えタイミングをユーザー側で調整して、その結果をCodexに伝えられるHTMLを作ってもらって指示出しをした。

これなら一発で修正���了するので、かなり体験としてよかった。

サイトUIの修正とかでよく使われる手法だけど、それに限らず流用できる好事例ですね。

[おかちんJr. @okachinJr]

ゲームのBGMにStable Audio 3 Small-MusicとSFXを使ってみてる。

ローカルだからBGMも効果音も作り放題。これだけでもゲーム制作の自由度がかなり上がってめちゃくちゃ楽しい！

がっつり触ってみてはいないものの、さすがに表現の幅には制限がありそうなので、Midiumも使えるか試さねば。

こういったローカルモデルを使ってみたい時にもセットアップはCodexに頼めばいいので、本当に���りたいことにだけ集中できてありがたい。

[おかちんJr. @okachinJr]

Jevようやく調べたけど想像以上に面白かった。自分用メモに。

Jevは汎用的な意志決定モデルで、自然言語や構造化された状態を理解できるから、様々なタスク���付いて回る判断を任せることができる。

・何を見て判断するか
・何を判断するのか
・どういう型で判断するか(Choice,Boolean,Sore)
・Choice型の場合の回答候補

このあたりは開発者が定義する必要があるけども、逆に言えば定義させすればどんな問いに対しても確率付きで返してくれる。

そのため、従来の分類器よりも汎用性が高い。しかも高速で低コスト。

TypeSafeは「ハルシネーション起こさないよ」と言ってるけど、これは間違えないという意味ではない。

Jevは出力可能な型や候補が事前に決められているから、候補外の選択肢を勝手につくって勝手に回答することはないよ、という意味。

確率で判断を行うから判断間違いは当然あるし、正解が候補外にある場合は、どう頑張っても正解することはできない。

正直、Jevがやっていること��LLMでもできるけどコンセプトが違う。

LLMにも判断はできるけどトークンがもったいないし、LLM使うまでもない細かい判断をJevに任せる��が最適だよねって話。

Jevにゲームやらせてフロンティアモデルよりも強いぜ！って投稿をよく見るけど、この辺り調べてようやく強い理由が分かってきた。

確率的に最適な判断を高速で繰り返すんだからそりゃ強いよなと。

とりあえず連休に触れるといいなあ。

[おかちんJr. @okachinJr]

欲しかった機能だ！

Codexのデスクトップアプリが優秀すぎてVSCodeとか開くこと無いからobsidianをvaultに縛られないmdファイル用のエディタとして使えるのはかなり嬉しい

[Obsidian @obsdmd]

You can finally edit any Markdown file without moving it into your vault! 🤗

Works for all formats Obsidian supports. Available with Obsidian 1.14.2 (early access).

[おかちんJr. @okachinJr]

そしてこちらが個人サイトのアニメーション最終版。

一瞬変な顔になるので直したいものの、とりあえずは満足。