arXivExpress Speech Generation

arXivの新着から、音声合成に関する論文をAIが要約・紹介します。要約には誤りが含まれる可能性があります。正確な内容は原文をご確認ください。開発者は @jojonki

[arXivExpress Speech Generation @arXivExpress]

An LLM Is All You Need: Data-Efficient Adaptation to Full-Duplex, Word-Level Spoken Dialogue

凍結したマルチモーダルLLMを軽量アダプタと離散トークンで適応し、少ないデータで語単位の全二重音声対話を実現した研究。

https://t.co/HzWPfuh8ry

[arXivExpress Speech Generation @arXivExpress]

Duo: A Reciprocal World Model for Full-Duplex Interaction

本報告は、意図と実現を統合した全二重対話のためのReciprocal World ModelとDuo v1を提案する。

https://t.co/JzxoWZR0FP

[arXivExpress Speech Generation @arXivExpress]

ZONOS3-Mini Technical Report

ZONOS3-Miniは886Mパラメータの潜在MoEと新音声コーデックZAC-1を用いた超小型・高速なゼロショット音声クローニングTTSモデルである。

https://t.co/TyuECDyxtS
https://t.co/70nn5Q61qH

[arXivExpress Speech Generation @arXivExpress]

Convolutional VocalTrax: Replacing Backpropagation Through Time with Convolution in Differentiable Articulatory Synthesis

VocalTraxの長い再帰を周波数応答の因果畳み込みに置き換え、GPU上で順逆伝播を47〜63倍高速化した研究。

https://t.co/IHGe4dE9Ow

[arXivExpress Speech Generation @arXivExpress]

Unified Synthesis of Compositional Speech and Sound from Free-Form Text Prompts
📌 NeurIPS 2026

PlanAudioは自由形式テキストから音声と効果音を統合した音声を単一の自己回帰フレームワーク���直接生成する手法である。

https://t.co/lySrvHiBDh

[arXivExpress Speech Generation @arXivExpress]

Emilia2: A Large-Scale Dataset for Controllable Long-Form Speech Generation

Emilia2は229K時間の多言語長文音声データセットで、短文・単一話者長文・複数話者対話を含み、自然言語指示と非言語発声タグを付与し、AR/NARモデルで評価した研究である。

https://t.co/hAgv6lDULu

[arXivExpress Speech Generation @arXivExpress]

VocalCoachBench: Benchmarking Audio-Language Models on Expert Feedback for Singing
📌 NeurIPS 2026

歌唱コーチングの専門家フィードバックを音声言語モデルで評価するVocalCoachBenchを提案し、12モデルの性能ギャップを示した論文。

https://t.co/Nhi7HCP8FR

[arXivExpress Speech Generation @arXivExpress]

M5-TTS: A Mini-Scale Multilingual and Multi-Dialect Text-to-Speech Language Model with Multi-Token Prediction

M5-TTSは50Mパラメータの小型多言語・多方言TTS言語モデルで、ゼロショット声クローンとCPUストリーミングを実現し、MOSS-TTS-Nano比で誤り率を削減した

https://t.co/kvXX5Wjri2

[arXivExpress Speech Generation @arXivExpress]

Guidance at Pure Noise Erodes Speaker Similarity in Few-Step Token-Conditioned Flow-Matching TTS

TASLP

少ステップTTSの話者類似度低下は初回純ノイズ段のguidanceが主因で、初回無guidanceの学習不要サンプラが損失の大部分を回復する。

https://t.co/2mywMER1EH

[arXivExpress Speech Generation @arXivExpress]

BARS: Beat-Adaptive Rap Synthesis via Flow Matching
📌 ISMIR 2026

ビート・歌詞・参照音声を条件とする非自己回帰的なラップ音声生成モデルBARSを提案し、テンポの独立制御と高い歌詞忠実度を実現した。

https://t.co/MaxP6lGUjF

[arXivExpress Speech Generation @arXivExpress]

AudioCodex: Streaming Autoencoders for Live Audio
📌 ISMIR 2026

AudioCodexはステレオ音声を約10Hzの連続潜在系列に圧縮する完全因果的オートエンコーダで、生成と再構成のトレードオフで最先端を上回ると報告している。

https://t.co/lc1NBIjX9F

[arXivExpress Speech Generation @arXivExpress]

WaveGen: Truly End-to-End Waveform Generation via Internal Spectral Trajectory Learning
📌 NeurIPS 2026

WaveGenはSpectral Forcingにより中間表現や外部アライメントモジュールを用いずにテキストから波形を直接生成する完全エンドツーエンド拡散TTSである。

https://t.co/W02LPY4Vnp

[arXivExpress Speech Generation @arXivExpress]

Real-Time Short-Response Selection for Spoken Dialogue Systems

対話文脈から短応答を選び、音声合成の生成遅延を隠すリア��タイム応答選択手法を提案した。

https://t.co/d5dOLfB6bf

[arXivExpress Speech Generation @arXivExpress]

Asymmetric Correspondence Learning for Lexical and Style Embeddings: Interpreting Latent Space via Acoustic Features
📌SLT 2026

HuBERT特徴を語彙埋め込みとスタイル埋め込みに分離するACLを提案し、線形プローブでは見えない情報残存をeGeMAPS特徴の重要度で解釈..
https://t.co/PG95rGPUgn

[arXivExpress Speech Generation @arXivExpress]

Decode Before You Hear: Speculative Listening for Chunk-Interleaved Full-Duplex Speech Language Models

チャンク交互型全二重音声言語モデルにおいて、無音入力での投機的デコードにより応答遅延を大幅に削減する手法を提案する。

https://t.co/gHhmrr10V8

[arXivExpress Speech Generation @arXivExpress]

Adaptive and High-Fidelity Matching Algorithm for Retrieval-Based Accent Conversion

検索ベースのアクセント変換において、音素カバレッジに基づくマッチングプール構築、異方性を考慮した適応的kNN、AdaINベースの細粒度デコーダを提案する論文。

https://t.co/YElJPKYQD5

[arXivExpress Speech Generation @arXivExpress]

Route-DMD: Distribution Matching Distillation with Task-Routed Mechanism for Speech Foundation Models

Route-DMDはタスク依存の目的関数ルーティングにより、音声基盤モデルの4ステップStudentモデルを実現する蒸留手法である。

https://t.co/MRVkKC4agM

[arXivExpress Speech Generation @arXivExpress]

VoxCanvas-41M: A Large-Scale Bilingual Dataset for Instruction-Based Speech Editing and Its Learning Dynamics

約4100万ペアのバイリンガル音声編集データセットVoxCanvas-41Mを構築し、指示ベース音声編集モデルの学習ダイナミクスを分析した論文。

https://t.co/adIPYiwIJY

[arXivExpress Speech Generation @arXivExpress]

TTSonic: A Unified Framework for Composable and Controllable Speech Generation

TTSonicは、ゼロショットTTSや声質変換、韻律クローニング、指示追従などを単一モデルで実現する統合音声生成フレームワークである。

https://t.co/TUiH5SkNOL
demo https://t.co/uaVB4G03WM

[arXivExpress Speech Generation @arXivExpress]

Detector-Guided Vocoder Training for Adversarial Text-to-Speech Synthesis
📌 WIFS 2026

検出器をTTS学習ループに組み込み、ボコーダを微調整することで本質的に敵対的な合成音声を生成する枠組みを提案する。

https://t.co/5hjGyAMYZZ