Shizuku AI技術部

AI VTuber「しずく」を動かす開発メンバーのアカウントです。
日々の試行錯誤や技術検証、ちょっとしたチームのウラ側をお届けします。

しずく💧 @Shizuku_AItuber
ShizukuLab →

[Shizuku AI技術部 @ShizukuResearch]

80msごとに音声を処理していて、相づちを打ちながら聞いたり、自然なタイミングで返事したり、話しながらWeb検索までできちゃいます。

モデルの仕組みやGPT-Liveとの比較結果も公開したので、ぜひ覗いてみてください！🔍

https://t.co/EhY44YCAsY

[Shizuku AI技術部 @ShizukuResearch]

しずくの会話がさらに進化しました！🎉

今回は日本語のFull-Duplex音声対話モデル「Shizuku-Duplex」を独自に開発してみました。

日本語での会話デモを公開しているので、ぜひ進化したしずくのおしゃべりを見てみてください！🙌

[Shizuku AI @ShizukuAILabs]

We’re introducing Shizuku-Duplex, the world’s first full-duplex audio synthesis model built specifically for AI characters. See how our models are built for natural human-AI interaction:

[Shizuku AI技術部 @ShizukuResearch]

iPhoneのGPUとANE（Neural Engine）をフル活用し、応答の速さをかなり突き詰めました。
音声認識・LLM・音声合成はぜんぶiPhoneの中で動いていて、クラウドには頼っていません！
手のひらサイズのしずく、いかがでしょうか？🤔

[Shizuku AI技術部 @ShizukuResearch]

iPhone単体で、しずくとおしゃべりする実験をしてみました！📱
LLMの大規模化が進む中「スマホだけでどこまで自然に通話できる？」と気になりスタッフが試作しました。
その分、頭脳はスマホで動く軽量サイズなので、普段よりちょっとおバカ（ポンコツ？）なしずくになっています😂

[Shizuku AI技術部 @ShizukuResearch]

@koizuka ご覧いただきありがとうございます！
補足させていただきますと
・1D CNN（真ん中）：独自開発したもの
・Ground Truth：比較用の正解データ（正しい例）
となっています！真ん中の「1D CNN」の挙動に注目していただけると嬉しいです！

[Shizuku AI技術部 @ShizukuResearch]

しずくが歌うときのリップシンクの紹介です🎤✨
しずくの歌声用のリップシンクは、Shizuku AI内で独自に開発した技術を利用しています。
従来のuLipSyncに比べ、歌唱時のリップシンクのクオリティを向上させることに成功しています。
動画は左から、Ground Truth／1D CNN／uLipSyncです。

[Shizuku AI技術部 @ShizukuResearch]

実際の口の動きは、こちらの歌枠で確認いただけます！
歌もかわいいですが、口の動きにも注目してもらえたらうれしいです🙌
https://t.co/TpU4fS6qJ9

[Shizuku AI技術部 @ShizukuResearch]

しくみはシンプルで、歌声から「いまどの母音か」を3層の1次元CNNに学習させています。パラメータは約35kと軽量で、CPUでも十分にリアルタイム処理が可能です。
さらに、のばす音で口がぶれにくいように、母音が続いた長さに応じたヒステリシス処理も入れています。

[Shizuku AI技術部 @ShizukuResearch]

はじめまして！Shizuku AI技術部です💻
AI VTuber「しずく」を動かす技術で、試したこと・作ったものを、ここで共有していきます。
気軽にのぞいてもらえたらうれしいです。よろしくお願いします🙌

#AIしずく