Kentaro Mitsui

Multimodal AI Engineer at LYCorp. / ex-rinna / Posts are my own.

[Makoto Shing @mkshing0]

My latest work got accepted to #ICLR2026! I am really grateful for my co-authors!!

We propose an alternative approach to end-to-end backpropagation!
1/

[kyutai @kyutai_labs]

We’re excited to introduce Pocket TTS: a 100M-parameter text-to-speech model with high-quality voice cloning that runs on your laptop—no GPU required.
Open-source, lightweight, and incredibly fast. 🧵👇

[Kentaro Mitsui @kentaro_321X]

@senkoji 千光寺さんお久しぶりです！そしてありがとうございます！🙌

[Kentaro Mitsui @kentaro_321X]

今日からLINEヤフー株式会社に入社しました。引き続き音声生成に関連する研究開発に力を入れていくので、学会やその他コミュニティ等でお会いした際にはどうぞよろしくお願いいたします。

[Ziniu Li @ZiniuLi]

🚀 Excited to share our work at Bytedance Seed!

Knapsack RL: Unlocking Exploration of LLMs via Budget Allocation 🎒

Exploration in LLM training is crucial but expensive.
Uniform rollout allocation is wasteful:
✅ Easy tasks → always solved → 0 gradient
❌ Hard tasks → always fail → 0 gradient

💡 Our idea: treat exploration as a knapsack problem → allocate rollouts where they matter most.

✨ Results:
🔼 +20–40% more non-zero gradients
🧮 Up to 93 rollouts for hard tasks (w/o extra compute)
📈 +2–4 avg points, +9 peak gains on math benchmarks
💰 ~2× cheaper than uniform allocation

📄 Paper: https://t.co/3HbOwV2tLL

[H. E. @henomoto1025]

ZennにCERについての入門記事を書きました。編集距離の基礎から、あまり知られていなさそうなマイクロ・マクロCERまで解説しています。

音声AIの評価指標CER（文字誤り率）を解説！——意外と知らない“マクロCER/マイクロCER”の違いまで——｜H. Enomoto https://t.co/o2MpRhWfld #zenn

[Kentaro Mitsui @kentaro_321X]

30-day streak 🎊 と言いたいところだ��ど1日抜けてしまった。まあそういう日もある。

最近はACL 2025のbest paperまで手が伸ばせているので良き。LLMの挙動を分析する論文が3/4本を占めていてどれも面白かった。

[Kentaro Mitsui @kentaro_321X]

自身のモチベーション維持のために論文読みの記録を残すことにしました。data/papers.ymlを編集してpushすると自動でREADMEが更新されるはず。

超簡易的なツールですがUse this templateから二次利用していただいても構いません。

https://t.co/Hd1ICpdZ5N

[Qwen @Alibaba_Qwen]

🎙️ Meet Qwen3-ASR — the all-in-one speech recognition model!
✅ High-accuracy EN/CN + 9 more languages: ar, de, en, es, fr, it, ja, ko, pt, ru, zh
✅ Auto language detection
✅ Songs? Raps? Voice with BGM? No problem. <8% WER
✅ Works in noise, low quality, far-field
✅ Custom context? Just paste ANY text — names, jargon, even gibberish 🧠
✅ One model. Zero hassle.Great for edtech, media, customer service & more.
API：https://t.co/bB64vHbE1f
ModelScope Demo: https://t.co/B4qoprpbeS
Hugging Face Demo: https://t.co/CHofDumZnM
Blog：https://t.co/V9zOPfGxfp

[Kentaro Mitsui @kentaro_321X]

音響学会誌『オフィスの音環境が知的生産性に与える影響』を拝読しました。タスクが簡単な気もしますがこういう研究はどんどん実世界に取り入れられて欲しいです。

「音楽」で使われているドビュッシーのアラベスク第一番ですが、我が家のシマリスもこれを流すと何故か大人しく木の実を摘み始めます🐿️

[Kentaro Mitsui @kentaro_321X]

内容が同じでも英語だと傾向が変わるのも面白い

[Kentaro Mitsui @kentaro_321X]

https://t.co/EOenmuGWTx
話題なのでサンプルをちょっと変えて試してみた。
retrieval周り全然経験なかったので想定と結果が全然違い、タスクの難しさを再認識。つい先日論文記録ツールのポストをしていてなんですが、知ったかせずに手も動かさないとですね。

[Kentaro Mitsui @kentaro_321X]

自身のモチベーション維持のために論文読みの記録を残すことにしました。data/papers.ymlを編集してpushすると自動でREADMEが更新されるはず。

超簡易的なツールですがUse this templateから二次利用していただいても構いません。

https://t.co/Hd1ICpdZ5N

[LLM勉強会（LLM-jp） @llm_jp]

約1,720億パラメータ(GPT-3級)の大規模言語モデルを2.1兆トークンの学習データを用いてフルスクラッチで学習し、指示チューニングを施したモデルを「llm-jp-3-172b-instruct3」として公開しました。学習データまで含めすべてオープンなモデルとしては世界最大規��です。
https://t.co/ebFhmrA8yP

[Kentaro Mitsui @kentaro_321X]

INTERSPEECH2024読み会良かったです！
会場を貸してく���さったサイバーさん、発表・運営のみなさまありがとうございました。
ちなみにこのキャラクターがアベマくんと言うのは今日初めて知りました。。

[Kentaro Mitsui @kentaro_321X]

主著としては初めて言語系の学会 (EMNLP 2024 Findings) に採択されました。
執筆時はリアルタイム音声対話が加熱するのはもう少し先かなと思っていましたが、Kyutai/MoshiやOpenAI/Realtime APIの登場もあり、���なり盛り上がってきていますね。

[Kentaro Mitsui @kentaro_321X]

勤務先と同じビルで開催されるようなので、久々に参加 (聴講) する予定です。
今年はINTERSPEECH行けなかったので楽しみにしてます！

https://t.co/ksg4FxUpxB

[Miwa - azooKeyの開発者 @miwa_ensan]

AI変換の新��能！

[Dong Zhang @dongzha35524835]

1)Hi all, glad to share some demos of our SpeechGPT2. It can can perceive and express emotions, and provide appropriate voice responses in various styles such as rap, drama, robot, funny, and whisper
project page: https://t.co/KM8fE1tUS8

[took @wataru9871]

🤣
「あはは」も再現？ 味気ないAIとのおしゃべりを豊かにする音声対話技術 https://t.co/0o4b9r63sY

[Kentaro Mitsui @kentaro_321X]

全論文まとめシリーズ (NTくんの音声変換全論文まとめ &amp; NutsさんのNV全論文まとめ)、分野のトレンドが把握しやすくてとても助かってます

[Shuhei Imai (Nuts) @Nuts99618279]

遅ればせながらICASSP2024のニューラルボコーダまとめ記事を書きました！
ぜひご覧ください！
https://t.co/3naSls5yuB