ネロ＠

10年以上双極性障害、洞不全症候群持ち。人と交流するのが好きだけど自分から行かないと続かないと理解してる。最近はAI生成にはまってもはやそればっかりやってるので積みゲーが増える増える。基本プログラミング知識無し、codexとchatgptに聞いたり指示文出してもらって開発。AIのウソとかこっちが確認しないと駄目と理解

[ネロ＠ @axse35gn]

Google Antigravityがじゃじゃ馬すぎる。codexのノリで更に大量の呪文のような禁止事項書いてもUI一部追加しただけでこいつ勝手にデザイン変えてその結果他見えなくなったりする。あとこいつらのできましたの定義が人間と違いすぎる。ゼロから作らせても7割完成品しか出してこねえ

[ネロ＠ @axse35gn]

通常時
LLM 2.9B → CPU/RAM待機
Irodori → CPU退避 or 終了

会話時
LLMだけGPUへ
↓
返答生成
↓
LLMをCPUへ退避

音声時
IrodoriだけGPUへ
↓
wav生成
↓
IrodoriをCPUへ退避

これで１６GB超えてたのが９．６GBまで収まったからじゃあ今度は少し重いllmをcpuに隔離しようになってきた。

[ネロ＠ @axse35gn]

ChatGPTとCodexだけでIrodori-TTSのVRAM問題を掘った話｜ネロ・シロ @axse35gn https://t.co/AkFaUNSlzP

[ネロ＠ @axse35gn]

タスクマネージャーとか見てるとなんかメモリとかCPUに逃げてるパターンあるからじゃあ最初からそこに置いといて必要な時だけirodori呼べばいいのでは？と言う発想は当たっていた。ただ、俺は案を言っただけでだいたいchatgptやcodexが基本は勝手にやってる。解説員としてgeminiに意味を教わってる

[ネロ＠ @axse35gn]

仮説
↓
もしかしてCPU退避できるかも

↓

実測

1.432GB
↓
0.051GB alloc
0.279GB reserved

↓

CUDA復帰

0.265秒

↓

再生成

0.93秒
load後
alloc 1.432GB

↓

CPU退避後
alloc 0.051GB
reserved 0.279GB

[ネロ＠ @axse35gn]

irodoriはとりあえずVRAM食いまくるからどうにかならんかと試行錯誤した結果、cpuに一時隔離して使う時だけちょこんと顔出す感じにしたらVRAM問題一気に解決したわ

[ネロ＠ @axse35gn]

codexもgoogle antigravityも同じだけどだいたいUI関連になるとできました！→できてませんが毎度起こる。ちゃんとテストしてからやれって言っても漏れる。更に余計な事したりする。そして指示文書くchatgptもなんか微妙に前の文脈引きずってるから俺がちゃんと監視しないとだめだと思った

[ネロ＠ @axse35gn]

geminiの割引キャンペーンやってたから入ってgoogle antigravityを使ってみた。とりあえず承認地獄があったので設定で治す。そしてcodexみたいなノリで他のファイル触るなと禁止事項大量に書いて動かしたらなんか他もいじってた。なんでいじったの？って聞いたら環境変数はいいのかなーって思ったそう

[ネロ＠ @axse35gn]

irodori tts v3 色々検証したけど多分ちゃんと学習したものかwavでも５秒くらいの同じトーンの奴なら長文は大きく崩れないかな

[ネロ＠ @axse35gn]

AI達のウソ合戦。「お前が始めた物語だろ」とツッコんだcodex使ったプログラミング知識ゼロのデバック作業 https://t.co/9U0qDh3eb6 https://t.co/9U0qDh3eb6

[ネロ＠ @axse35gn]

@@で隠しメッセージより別アプリ作って誰がこの声発言してるか判明させたうえでcsvにしたあとgeminiとかchatgptにぶん投げ出てjsonにする方向になっている。このアプリに関して言えばもう少しで完成なのに自分が仕組みよくわかってないのが困るところ

[ネロ＠ @axse35gn]

https://t.co/5FUerLGUde【音声素材】つくよみちゃんのサンプルボイスからお借りしています

[ネロ＠ @axse35gn]

Irodori-TTS比較実験。

使用音声：
つくよみちゃん サンプルボイス【01】タイトルコール
条件：
・同一ref_wav
・seed固定
・地の文と「」内セリフは自動分割
・文脈引き継ぎなし

比較内容：
①そのまま生成
②captionに「元気な女の子」を追加
③さらに「」の前に「俺が言った」を追加
声質変わるね

[ネロ＠ @axse35gn]

で、更に安定させるために今は隠しメッセージを仕込んでおいて最初の文字を統一させることで安定させる方向でやっている。ちなみにプログラミング知識ゼロなのでcodexに任せ失敗原因教えろと言いそこ注意してchatgptに指示文書かせてる。geminiはアドバイザーとして入れたけど今は邪魔なので使ってない

[ネロ＠ @axse35gn]

なのでIrodori-TTS使う時は分割で再生させてるけど、その分割の時にseed値も一緒に表示させてある種のガチャして理想のseed値を固定で使ってる。学習素材speaker.safetensors をしっかり作っていればそれいらないかも。雑に作るとseed値で振り回される。特に違うキャラに同じの使う場合とかに重要かも

[ネロ＠ @axse35gn]

Irodori-TTS 使ってて感じたこと。まず日本語特化だからめっちゃ自然に音声生成できる。長文には弱い。全体の文脈込で判断するので冒頭に会話口調をいれると急にテンション変わったりする。自分は対話ツールとして最初作ってそれ自体はもう全く問題なかった。ただ長文だと怪しいい。

[ネロ＠ @axse35gn]

Irodori-TTS v3　基本的にはcaptionをナレーションにすれば安定するけど前の文脈に左右されるから隠しメッセージ入れてそれを読ませない方向で使えばオーディオブック作れる。最初は対話ツール作ってたはずなのにいつの間にかオーディオブック作りになってると言う

[ネロ＠ @axse35gn]

Irodori-TTSのVoiceDesign v3で自分は学習素材付け足して使ってるんだが、怒った声とか泣いた声とか彼とか兄を思っている少女とか変えてるけど学習素材を適当に作ってるものほど女性ボイスでも俺って文章に書くと男ボイスになるな。captionをナレーションにすれば比較的安定

[ネロ＠ @axse35gn]

Irodori-TTSのVoiceDesign v3に繋ぐためのAPIとUI環境をここで作ったよ。参考にしてね　https://t.co/xYdcrrQGs3

[ネロ＠ @axse35gn]

geminiが強制的に制御権を Linux に渡すと言い始めWindows環境を保護しながらやれ！といったらあれはハルシネーションだと言ってここでproに切り替えてWSL2の夢は諦めない、お前が始めた物語だ。きちんとWindowsを守りながらできる方法を考えて！あきらめるな！で更に新たな提案してきたｗ