Satoshi Hirooka

こんにちは。

[まむ @mamurai1208]

我こそはという��、よろしくお願いします

•大規模言語モデル 事前学習エンジニア: https://t.co/YpsvDZuNkS 
•大規模言語モデル 事後学習エンジニア: https://t.co/YQ8ImGlRsF 
•大規模言語モデル VLMエンジニア: https://t.co/w4CmLp6gEO

[Yoshiaki Bando @yoshipon0520]

インターンの野﨑くん、連携大学院 (大西研) の櫻井くんが、日本音響学会 学生優秀発表賞を受賞しました！
おめでとうございます！！！🎉🎉🎉

[Satoshi Hirooka @sat9467]

凄い！試してみたいな。

[AK @_akhaliq]

Wan-Streamer v0.1

End-to-end Real-time Interactive Foundation Models

[Keisuke Kamahori @KeisukeKamahori]

New multimodal model architectures shouldn't require new serving systems.

Introducing our work, M* (M-Star): a universal serving system for multimodal models that separates what a model computes - a dataflow graph - from how it runs: placement, scheduling, batching, and transport.

Joint work across @uwcse, @StanfordAILab, and @CMU_ECE with Atindra Jha, Naomi Sagan, Irmak Sivgin, Rohan Sanda, @ste_veng, Mark Horowitz, @LukeZettlemoyer, Olivia Hsu, @jure, @bariskasikci, and @thepadawang.

[Satoshi Hirooka @sat9467]

今やっていることの殆どを表していて、とても良い

[Yun-Ta Tsai @yunta_tsai]

Many people think any given ML project is 99% training.

In reality, it’s 50% evaluation, 40% data cleaning, 8% integration, and 2% training.

The first two set the noise floor for learning. No ML magic matters; the model cannot lower the noise floor, as that’s the optimal bound of Shannon encoding of your data.

Thus, not a single day goes by without me thinking about ontology. Even the old labels have to be constantly reviewed.

[kyutai @kyutai_labs]

New paper: Multi-Faceted Interactivity Alignment in Full-Duplex Speech Models

We use RL to post-train speech models (Moshi and PersonaPlex) to talk more like a human: to know when to respond, when to wait, and when to nod along with “yeah”s and “okay”s when listening.

[DubGuild @DubGuild]

DubGuildは、シードラウンドの資金調達を完了いたしました。
あわせて、国家プロジェクト「GENIAC」第4期に採択されました。

調達・各種支援の累計額は約21億円となります。

加えて、音声情報処理を専門とされている名古屋大学戸田智基教授にアドバイザーとして着任いただきました。

これらを弾みに、DubGuildは「Scaling Speech AI」のミッションのもと、大規模な音声言語基盤モデルの研究開発を、よりいっそう加速させてまいります。

詳細はこちらをご覧ください。
https://t.co/eg5IYLXKr8

[MATSUMOTO Yutaka @yutakama]

スパコン老人

[Satoshi Hirooka @sat9467]

凄すぎて驚き屋

[Thinking Machines @thinkymachines]

People talk, listen, watch, think, and collaborate at the same time, in real time. We've designed an AI that works with people the same way.

We share our approach, early results, and a quick look at our model in action.

https://t.co/AFJZ5kH7Ku

[Satoshi Hirooka @sat9467]

気になる〜
https://t.co/ji3EoAjrYl

[山本一成🌤️完全自動運転AIを作るチューリングのCEO @issei_y]

アカデミックを離れて、ビジネスや工学の領域に達したんだと思う。そしてそれはそんなに悪い事ではないと思う。

[Satoshi Hirooka @sat9467]

流石にそろそろ自己紹介のウェブページを作ると良いのかもしれない。

[SB Intuitions @sbintuitions]

🚀 sarashina2.2-ttsを公開しました！

日本語に特化したLLMベースの音声合成システムです✨️
驚くほど自然な表現力と、高い再現性を実現しています。

🇯🇵 高精度
🔊 多彩な表現
🌐 日英対応
✨ 声質再現

👇 詳細はこちら https://t.co/v0xQHtNhBg
#SBIntuitions

[DubGuild @DubGuild]

テックブログ第2弾公開！

概要編に続き、日本語音声の前処理パイプラインを公開しました。

・faster-whisper、Sidonにおけるチャンキングの���夫と高速化
・SkyPilotによるスケールアウト
・パイプライン化による高速化

大規模な前処理を��っている方、是非ご覧ください

https://t.co/H8g4IK3qIe

[meng shao @shao__meng]

Voice AI 文本归一化基准测试

来自 Async 的这个基准聚焦的是 TTS 模型如何处理非标准文本，其中核心的问题是：实时语音合成中的"文本归一化"，书面文字"翻译"成人类自然的口语表达的能力。
https://t.co/TrUwKPaSNV

传统 TTS pipeline 中通常通过 预处理��（比如用 LLM 重写文本）来解决"文本归一化"。但在 实时流式场景 中，音频必须在输入后几毫秒内开始播放，根本没有时间做预处理——模型必须 原生地、内联地完成归一化。

基准测试设计：严格且可审计
1. 测试规模
· 1,000+ 句子，包含 2,200+ 个非标准词
· 覆盖 31个类别：日期、货币、电话号码、URL、科学计数法等
2. 真实流式条件
· 所有音频通过各厂商的 WebSocket 流式 API 生成
· 不做任何预处理、不重写文本、不用 REST 兜底
· 完全模拟生产环境中对话式语音代理的真实场景
3. 自动化评判 + 人工验证
· 使用 Gemini 3.1 Pro 作为 LLM 评判员，听取每个音频样本，逐词比对
· 与专家语言学家 在约 300 个句-模型对上进行交叉验证
· 人机一致率达到 97.4% ——仅 3 个句子存在分歧，且分歧点都是"两种读法都正确，只是自然度偏好不同"

技术意义：为什么"内联归一化"很重要
1. 传统方案：文本 → 预处理重写 → TTS 合成 → 音频
· 优点：准确率高，可以用强大的 LLM 做文本转换
· 缺点：增加延迟，不适合实时对话
2. Async 的方案：文本 → TTS 内联归一化+合成 → 音频
· 直接在合成过程中完成归一化
· 消除了预处理环节的延迟
· 这对 Voice Agent 至关重要——用户说完话后，系统需要在几百毫秒内开始回应

[Satoshi Hirooka @sat9467]

https://t.co/o8aiunlNvs

[Satoshi Hirooka @sat9467]

#sumo_ai にいました！話せなかった人はまた何処かで話しましょう！

[took @wataru9871]

The paper is now available! Check it out
https://t.co/AS1iwRoV1a

[Satoshi Hirooka @sat9467]

最近行っていることを簡単にですが、書きました！良かったら読んでください！

[DubGuild @DubGuild]

テックブログを公開しました。

「Scaling Speech AI」の下、1Bから3Bへと音声言語モデルをスケールさせた際のTTS性能へ影��を検証しました。
日本語特有の読みや表記揺れ、表現の広がりがみられるに加え、現状の課題についても整理しています。

日本語音声生成・SpeechLM・TTSに関心のある方はぜひご覧ください。
https://t.co/XfkfBCQXfg

1B/3Bモデルの構築にあたって実施した、データ前処理・事前学習・事後学習の詳細も、今後順次公開していく予定です。
続報もお待ちいただければ幸いです。

[DubGuild @DubGuild]

テックブログを公開しました。

「Scaling Speech AI」の下、1Bから3Bへと音声言語モデルをスケールさせた際のTTS性能へ影響を検証しました。
日本語特有の読みや表記揺れ、表現の広がりがみられるに加え、現状の課題についても整理しています。

日本語音声生成・SpeechLM・TTSに関心のある方はぜひご覧ください。
https://t.co/XfkfBCQXfg

1B/3Bモデルの構築にあたって実施した、データ前処理・事前学習・事後学習の詳細も、今後順次公開していく予定です。
続報もお待ちいただければ幸いです。