ゆっきー@音声合成

音声合成を勉強しています。歌声合成に特に興味があります。音声合成に関わる全ての人に尊敬と感謝を。業界の外の人ですが、絡んでくれると喜びます。

[ゆっきー@音声合成 @4wavetech]

歌声合成用ボコーダーNHVSingのVer.2を公開しました！
・初代で難しかった多話者への対応が可能に
・未知の話者にもある程度安定した音質
・初代よりさらに高速化

視聴用のデモページと簡単に再合成を試せるipynbを用意しています。ぜひ聴いて・試してみてください…！

https://t.co/rszYcbwzMe

[ゆっきー@音声合成 @4wavetech]

@bennjmiin Phrasing it as if they could do AI voice synthesis if they wanted to is deceptive. They simply don't have the capability.

[ゆっきー@音声合成 @4wavetech]

ニューラルボコーダーについて興味ないんやろなあ…

[コレット楽器株式会社 @ColletInst]

最後は初音ミクの技術に関してクリプトン社の講演があり、歌声音声合成に関わる多くの技術者が会場に集まってました
アーキテクチャ図やシグナルフロー図が出てくるたびにシャッター音が会場に鳴り響いてました
#audiodevcon #ADC

[ゆっきー@音声合成 @4wavetech]

@bennjmiin It's not that they are insisting on it, they are simply unfamiliar with neural vocoders.

[ゆっきー@音声合成 @4wavetech]

会社の経費で自由にコードアシストとGPU使える人が羨ましい… やっぱ個人でできることって限界ありますよ…

[ゆっきー@音声合成 @4wavetech]

Claudeに数日で三万も突っ込んでて泣きそう

[瀬戸弘司 Koji Seto @eguri89]

さっそくAbleton Extensions SDKを使って、Codexにコード進行生成ツールを作ってもらった。
これは面白いぞ。

ダイアログのデザインも自由に作れるっぽいから自分の画像入れてみたりして、音楽の作り方を作る感じ。めちゃ好きだわ。

[ゆっきー@音声合成 @4wavetech]

@bennjmiin It takes about 40 minutes for 20,000 training steps. However, this might not be a helpful reference since I'm using a high-memory G4 instance with an L4 GPU.

[ゆっきー@音声合成 @4wavetech]

ビブラートモデルをLYNXNet(Conformerに近い)からWaveNetに変えたら明らかにWaveNetの方が上手い

LYNXNet← →WaveNet

[ゆっきー@音声合成 @4wavetech]

2つのF0モデル両方ともWaveNetに改修、2つ同時に実行できるしRTFは0.02くらいです。商業レベルのものまであと一息な気がする…。

[ゆっきー@音声合成 @4wavetech]

色々調整してビブラート抜きのF0もビブラートもなかなか美麗になった

[ゆっきー@音声合成 @4wavetech]

@p_former38064 いえ、若干方式が異なってます。とはいえ、Claudeの実装を信用するのは必ずしも良くないですね。

[ゆっきー@音声合成 @4wavetech]

F0モデルが不細工なイントネーションを学んでしまうのはもう仕方ない気がする…。一般的に秀才と呼ばれる人たちがやってもそうなるんだから自分に解決できる問題ではない。綺麗なイントネーションになるよう強制的な補正をかけることにする

[ゆっきー@音声合成 @4wavetech]

WaveNet遅い遅い言われてたのにDiffusion入れてもなお速い… 俺の学んでたディープラーニングは間違いだったんですか…？

[ゆっきー@音声合成 @4wavetech]

ビブラートがちょっと綺麗になった件、差にしてみるとかなり小さな違いではある…。イントネーションが不細工なのが-80点くらいあるので、そっちをなんとかしたい

[ゆっきー@音声合成 @4wavetech]

通しで一曲歌わせた。音量カーブを使わないモデルだと、同じ母音の連打でリズム取らせるの難しいかも？

[ゆっきー@音声合成 @4wavetech]

でも3日間Claudeの数倍はDeepSeekぶん回して2ドルしか消費してないぞ… DeepSeekくんもっと賢くなって…

[ゆっきー@音声合成 @4wavetech]

指示役をClaudeに、作業役をDeepSeekにやらせたら、DeepSeekが毎回「難しいのでこれで結論とします」って言ってくるので、Claudeが「もうやめろ、自分がやる」って言い出した

[ゆっきー@音声合成 @4wavetech]

@p_former38064 そうですね、試してみないとはっきりとは言えないことではありますが…。

[ゆっきー@音声合成 @4wavetech]

WaveNetよりRNNが優れ、RNNよりTransformerが優れてるみたいによく言われてたが、Transformerで規則性の高い波形を生成するのは厳しいようだ(できるならとっくにボコーダーで採用されてる)。ビブラートはWaveNetで作るべきなのかも。

[ゆっきー@音声合成 @4wavetech]

Claude制限かかって寝るのすら耐えられへん…。アドレナリン出まくって到底寝られない。数年後にはコードアシストの制限とかなくなることを祈る

[ゆっきー@音声合成 @4wavetech]

リポジトリのコード読んで解説させるだけだったらDeepSeekにでもできるし、単純作業系はClaudeにやらすのやめよう…