higurashi

Scaling Speech AI

[higurashi @HigurashiAI]

【人間のように、自然に笑い、相槌を打つ「人間らしいAI」】

4BのFull-duplex音声対話モデルを4,000万時間の日本語、英語を含む多言語データで事前学習し、オープンウェイトで公開しました！

弊社のオープンモデルを用いて、開発者の方々と一緒に未来を切り開ければと思います

[Matias Voldby Drejer @matiasdrejer]

love seeing brilliant teams open-source their research

[higurashi @HigurashiAI]

We’ve open-sourced our 4B full-duplex speech model under Apache 2.0 !!

Our model was trained on 40M hours and uses continuous tokens.

Full-duplex AI for "Human like AI" is still largely unexplored.
Let’s push the boundaries together!

Check out our demos! 🚀

Website: https://t.co/hOlupgh4bM
Code: https://t.co/Qx4oFJPVj0
Model: https://t.co/CBslmM4yr2
Technical blog: https://t.co/R6l26UCD6q

[higurashi @HigurashiAI]

【人間のように、自然に笑い、相槌を打つ「人間らしいAI」】

4BのFull-duplex音声対話モデルを4,000万時間の日本語、英語を含む多言語データで事前学習し、オープンウェイトで公開しました！

弊社のオープンモデルを用いて、開発者の方々と一緒に未来を切り開ければと思います

[minaminao @vinami]

今年ずっと開発してきた、人間らしく話せることにこだわった対話モデル「Haru」をオープンウェイトで公開しました！！！

いわゆる"full-duplex"ですが、我々のモデルは『リアルタイムに音声を同時に入出力する』構造で、full-duplexな対話モデルの中でも一段と人間らしく話せます。

[higurashi @HigurashiAI]

弊社の4Bモデルを含め、現在公開されている多くのFull-duplexモデルと、私たちが思い描く「人間らしいAI」との間には、今だ大きな隔たりがあると考えています。

higurashiは、Full-duplexモデルを言語モデルと同じように大規模モデルへスケーリングさせ高い知性を宿すことで、「人間らしいAI」を完成させることを目指しています。この挑戦をともに進める研究者・エンジニアを募集しています。

4Bモデルの公開に合わせてMeetupを11/26 (木)に本郷三丁目周辺で開催予定です。私たちの取り組みに関心のある方は、ぜひご参加ください。
・https://t.co/ESkCATkFLb
・https://t.co/uh45Sd9Alh

[higurashi @HigurashiAI]

【人間のように、自然に笑い、相槌を打つ「人間らしいAI」】

4BのFull-duplex音声対話モデルを4,000万時間の日本語、英語を含む多言語データで事前学習し、オープンウェイトで公開しました！

弊社のオープンモデルを用いて、開発者の方々と一緒に未来を切り開ければと思います

[higurashi @HigurashiAI]

Full-duplex modelの研究は未だに発展段階です。

この技術をより多くの人とともに発展させるため、私たちはこのpre trained full-duplexモデルをオープンソースとして重み・推論コードを公開します。

この領域を皆様と共に切り拓いて行ければと思います。

https://t.co/Qx4oFJPVj0
https://t.co/CBslmM4yr2

[higurashi @HigurashiAI]

Full-duplex 2話者データの音声分離・復元モデル「DialogueSidon」の高速版「FastDialogueSidon」を公開しました！

1ステップ推論＋軽量デコーダで、DialogueSidon公式実装比で約100倍の高速化と同等の性能を実現しています（H100上で計測）

GitHub：https://t.co/Qq54yUW2Nb
Huggingface：https://t.co/0AymkzJHKD

[higurashi @HigurashiAI]

Real-world noise makes speech tokens unstable.

We train a neural codec to recover clean speech from degraded audio through augment-and-denoise training.

Our new blog is here！！
https://t.co/HASC9TX5Ze

[Aida @aida_0710]

@DubGuild

[Shuhei Imai (Nuts) @Nuts99618279]

面白い記事！とても参考になります。

[higurashi @HigurashiAI]

テックブログ事後学習編公開！

概要編、前処理編、事前学習編に続き、音声言語モデルのTTSへの事後学習に関する知見をまとめています。

https://t.co/13NROD1sWS

・SFT＋RLによってJ-HARDのCERと話者類似度を改善
・報酬設計次第では発話が不自然に長くなり、声質がほぼ女性側へ偏る
・BF16では、vLLMとTransformers間のトークン対数確率の差がFP16の約8倍に拡大

[higurashi @HigurashiAI]

テックブログ第3弾公開！

概要編、前処理編に続き、日本語音声言語基盤モデルの事前学習に関する知見をまとめています。

・ASRとのマルチタスクより、TTSのみを学習する構成の方がTTSタスクでは高性能（1B）
・テキストデータの混合はモデル規模で効果が異なり、3Bでは10%混合が最良

是非ご覧ください！

https://t.co/6EKRBaTXnp

[higurashi @HigurashiAI]

DubGuild is looking for exceptional talent based in Japan.

You don’t need to speak Japanese — English is enough. We also support visa and permanent residency applications, housing, and other essentials for living in Japan.

If you’re interested in building the future of Speech AI with us, please apply here:
https://t.co/gjZn8hzW2w

[higurashi @HigurashiAI]

DubGuildは、シードラウンドの資金調達を完了いたしました。
あわせて、国家プロジェクト「GENIAC」第4期に採択されました。

調達・各種支援の累計額は約21億円となります。

加えて、音声情報処理を専門とされている名古屋大学戸田智基教授にアドバイザーとして着任いただきました。

これらを弾みに、DubGuildは「Scaling Speech AI」のミッションのもと、大規模な音声言語基盤モデルの研究開発を、よりいっそう加速させてまいります。

詳細はこちらをご覧ください。
https://t.co/eg5IYLXKr8

[higurashi @HigurashiAI]

テックブログ第2弾公開！

概要編に続き、日本語音声の前処理パイプラインを公開しました。

・faster-whisper、Sidonにおけるチャンキングの工夫と高速化
・SkyPilotによるスケールアウト
・パイプライン化による高速化

大規模な前処理を行っている方、是非ご覧ください

https://t.co/H8g4IK3qIe