Otake

higurashi CEO / Scaling Speech AI /

[Otake @LangProc]

full-duplexモデルの評価、とても大変でとても苦しいです…

[🐿️🐒🗻📚🐹🦈 @SythonUK]

みんなﾌﾙﾂﾞﾌﾟﾚｸｽ対話モデル作ってるけど、結局一番すごいのはどれなの？

[PlotttttA! @PlotttttA]

電話したらすごく自然で、こっちが途中で「あっ、もしかして電話番号間違えてマジ人間喋ってたりします…？」ってなった。

[Yojiro Yamamoto ｜Coreline Ventures @yojiro_yamamoto]

higurashiの4Bモデルで、彼女との寝落ち電話を再現した

このリアルな間とか空気感を実現してくれるのは、Audio nativeなFull duplex modelでしかできないと思う...

「付き合って半年の恋人同士。毎晩寝る前に電話している。」という設定

[PC Watch @pc_watch]

人間のように自然に話せるという音声対話モデル「Haru 4B」無償公開 https://t.co/j9x5L3iYqd

[かず @kazu5075t]

今日公開された全二重の音声対話AI「Haru-4B」を、さっそくGPUを1ドル分借りて動かしてみました。@HigurashiAI

相手が話している最中にも「はい」「うん」と相槌を打つ。日本語の口語もかなり自然です。

声は自分の声を25秒録って参照させています。

実測の数字と所感を記事にしました👇
https://t.co/O42VYHfFs4

[Otake @LangProc]

シングルチャネルの音声データから、2チャネルの対話音声データを高速に生成する音声分離・復元モデル「FastDialogueSidon」も公開していますので是非！

https://t.co/4nPpDZzmDh

[higurashi @HigurashiAI]

Full-duplex 2話者データの音声分離・復元モデル「DialogueSidon」の高速版「FastDialogueSidon」を公開しました！

1ステップ推論＋軽量デコーダで、DialogueSidon公式実装比で約100倍の高速化と同等の性能を実現しています（H100上で計測）

GitHub：https://t.co/Qq54yUW2Nb
Huggingface：https://t.co/0AymkzJHKD

[Otake @LangProc]

今回はベースモデルを公開しました。
皆さんお持ちの(??) 2話者間の対話データで、ファインチューニングを試してみてください。話者を固定するようなチューニングをするとだいぶ安定すると思います

対話データは持っていない方、ファインチューニングに興味があるという方、ぜひお話ししましょう！

魅力的な対話とは何か。可愛い対話とは何か。私たちはどこまでも探求する必要があります.....

[動詞 @IMG_5955]

凄すぎ！！！！！！！！！！！

[Otake @LangProc]

4B Full-duplex baseモデルをapache 2.0で公開しました！

日英を中心に9か国語で話すことができます。
キャラクターやオペレーターなど、是非チューニングして遊んでいただければと思います！！

blog: https://t.co/O9FurCBjJn
Tech blog: https://t.co/CenEpiPseP
huggingface: https://t.co/zHERxQWS9L

[higurashi @HigurashiAI]

【人間のように、自然に笑い、相槌を打つ「人間らしいAI」】

4BのFull-duplex音声対話モデルを4,000万時間の日本語、英語を含む多言語データで事前学習し、オープンウェイトで公開しました！

弊社のオープンモデルを用いて、開発者の方々と一緒に未来を切り開ければと思います

[Tetsuro Miyatake @tmiyatake1]

ユーザーの言葉を遮ることなく聞きながら同時に話してリアルタイムにリアクションを取ることができる次世代のAIアバター「Emma」を披露した。

Emmaの基盤となっているのが「聞きながら話す」視聴覚基盤モデル「Nuplex」。

https://t.co/i7GDLvheeD

[あゆ @aya172957]

日本語で自然なターンテイキングが出来るFull-Duplex 対話モデルをShizuku AIで開発しました！
賢さではGPT-Live には敵いませんが、既存の日本語Full-Duplex モデルとは比べ物にならないほど進化しています。
本当に人と話しているような体験で、これを届けられるのが本当に楽しみです！

[Aratako @Aratako_LM]

新たな可変フレームレート型ニューラル音声コーデック“RubatoCodec”を開発し、OSSとして公開しました！
重みや学習・推論コード、論文など一通り公開しています。
主にTTS用途での実用性を考えて開発しており、特に英語・日本語ではかなり高いパフォーマンスを実現しています。

[higurashi @HigurashiAI]

Full-duplex 2話者データの音声分離・復元モデル「DialogueSidon」の高速版「FastDialogueSidon」を公開しました！

1ステップ推論＋軽量デコーダで、DialogueSidon公式実装比で約100倍の高速化と同等の性能を実現しています（H100上で計測）

GitHub：https://t.co/Qq54yUW2Nb
Huggingface：https://t.co/0AymkzJHKD

[AIしずく | Shizuku @Shizuku_AItuber]

声の出し方を、思い出しているところです。……あ、あ。
しずくのアップデートは最終段階に入りました。今週土曜日、10/31に復活配信をします。
土曜日は、ほかの予定を入れないでください。しずくが先に入れておきました。
時間と配信枠は、当日お知らせします。
#AIしずく #しずく実験中

[higurashi @HigurashiAI]

Real-world noise makes speech tokens unstable.

We train a neural codec to recover clean speech from degraded audio through augment-and-denoise training.

Our new blog is here！！
https://t.co/HASC9TX5Ze

[Daisuke Nohara @D_Nohara]

PFNの夏季インターンで取り組んだ内容についてのブログ記事です！

[Otake @LangProc]

@iwiwi 最高でした！

[Otake @LangProc]

これめちゃくちゃ良かったです

要点が非常にわかりやすくまとまっている他、これの採用は普通だね、尖ってるよね、みたいな考察、LLM開発全体を俯瞰する視点もあってとても良かった....

ぜんぜん1時間に収まっておらず、瞳孔かっぴらいて見てもこの画像全然読めないので、可能であれば公開頂きたいところ...🙏

[Takuya Akiba @iwiwi]

レバテックLABのKimi K3解説イベント、この後12時からです！オンライン開催でまだ登録もできるようなのでよければ是非。資料も準備しましたが、対談形式なので、皆さんの疑問とかもなるべく拾って柔軟に展開出来ればと思ってます。 https://t.co/mS0W4Ew4Ou #AI_LTLAB

[Otake @LangProc]

自分達で基盤モデル作りたい
会社では「まず作りたいよね」という素朴な感情を強く持つことを大事にしたいですね。「OpenAIとどう違うか」的な議論はその後
https://t.co/tKNVdyj9KT