VR/ARを教材に

ガジェット好き元聴覚支援学校教員 〜For the Deaf students,Of the Deaf students,By the Deaf students〜

[VR/ARを教材に @110_lie]

アップデートした
@webcammocap 使って、モーションキャプチャーしたら、Spatialで手話するアバターが実現した✨
機材不要、スキル不要、超簡単💕
これで手話するエモート増産できる！

#いつでもVR
#VRを教材に
#WebcamMotionCapture
#Spatial

[VR/ARを教材に @110_lie]

@xr_ymchn 聴覚障がい生徒がメタバース利用する際に、「アバターが手話できたらいいのに…」と、こんな日がくることを待ち望んでいました🥹

[VR/ARを教材に @110_lie]

早速、ワールドに遊びに行ってみました。

すごい✨
モーションキャプチャーアプリを使って、
リアルタイムに、アバターに手話をさせることができました。
感激💕

#cluster #手話するアバター
#WebcamMotionCapture

[やまちゃん (Yamachan) @xr_ymchn]

『アバターを VMC Protocol で動かしてみよう！』
https://t.co/AiRquHRfQ8
PC デスクトップモードやスマホでもアバターを自由自在に動かせちゃう実験ワールド！
手元の検証では TDPT を用いましたが、VMC Protocol が喋れるモーションキャプチャならば基本的には何でも行けるはずです…！
#cluster

[大瀧 達生 / メタバース情報工学学校 / 地方創生 / AI駆動開発 / 株式会社◯ @tatsuo1020]

【論文紹介】手話翻訳のための人工知能 - デザインサイエンスの調査研究
Artificial Intelligence for Sign Language Translation - A Design Science Research Study

基本情報
• 著者: Gero Strobel, Thorsten Schoormann, Leonardo Banh, Frederik Möller
• 発表年: 2023年
• 掲載誌: Communications of the Association for Information Systems
• 巻・ページ: Vol. 53, pp. 42-64
• DOI: 10.17705/1CAIS.05303

-----------------------------------------
＜1. 背景と問題意識＞

1.1 デジタル社会と社会的包摂
現代社会はデジタル化によって社会的包摂（Social Inclusion） を促進しているが、依然として不平等な機会に直面するコミュニティ が存在する。
特に聴覚障がい者 は、日常生活でのコミュニケーションの課題に直面しており、それは娯楽活動 だけでなく、緊急時の対応 においても顕著である。

1.2 聴覚障がい者のコミュニケーション課題
• EUには約75万人、米国には400万人以上 の聴覚障がい者がいる。
• 彼らは、仕事、教育、医療、公共サービスなどのさまざまな場面で適切なコミュニケーション手段を持たない ことが多い。
• 特に緊急通報（Emergency Calls） の際、手話通訳者の不足や文字通信の限界により、迅速な対応が困難になる。

-----------------------------------------
＜2. 研究の目的＞

本研究の目的は、AIを活用した手話翻訳システム を開発し、聴覚障がい者がネイティブ言語（手話） でコミュニケーションできる環境を提供することである。

• AIによる手話のテキスト翻訳 を可能にするシステムを構築。
• 機械学習パイプライン を設計し、翻訳システムの継続的な学習を実現。
• 緊急時対応（Emergency Use Case） に適用可能な手話通訳モデルを試作。

-----------------------------------------
＜3. AIベースの手話翻訳システム＞

3.1 使用したAI技術
本研究では、Transformerニューラルネットワーク を採用。
• 500以上のデータポイント（手の動き、顔の表情、身体の動き）を分析し、手話をテキストに翻訳。
• リアルタイム処理 に対応し、手話の流れを迅速に認識。
• 転移学習（Transfer Learning） を用いて、データが少ない状況でもモデルの精度を向上。

3.2 機械学習パイプライン
本研究では、手話翻訳モデルを進化させるためのパイプライン を設計。
• 新しいデータセットの構築（既存の手話データを拡張）。
• 定期的なモデルの再トレーニング による精度向上。
• ユーザーのフィードバックを活用した改善。

-----------------------------------------
＜4. 実証実験（Proof of Concept）＞

本研究の概念実証として、緊急通報のための手話翻訳モデル を開発し、200以上のフレーズ に対応。
• 例：「助けてください」「火事です」「救急車を呼んでください」など。
• 緊急オペレーターと聴覚障がい者の間のコミュニケーション を容易にするシステム。
• 実験結果として、手話からテキストへの変換の精度は高く、短時間で翻訳が可能 であることが示された。

-----------------------------------------
＜5. 結論と今後の展望＞

5.1 本研究の貢献
• AIを活用した手話翻訳が社会的包摂を促進 する可能性を示した。
• 機械学習を活用した継続的な改善 によって、モデルの精度を向上させられることが確認された。
• 緊急対応 などの具体的なユースケースに適用可能なAI手話通訳システムを構築した。

5.2 今後の課題
• より多くの手話データを収集し、モデルの精度を向上 させる必要がある。
• リアルタイム通信 を改善し、遅延を最小限に抑える技術の開発が求められる。
• 異なる国の手話（ASL, JSL, BSL など）に対応する多言語手話翻訳モデル の開発が必要。

-----------------------------------------
＜6. まとめ＞

本研究では、AIを活用した手話翻訳システム を開発し、Transformerモデル を用いて手話をテキストに変換する技術を検証。
特に、緊急通報のようなユースケースに適用可能なモデル を構築し、200以上のフレーズ に対応することを実証した。
今後は、より多くのデータを学習させ、多言語対応やリアルタイム通信の最適化 を進めることで、聴覚障がい者の社会参加を支援するシステムの実現 を目指している。

-----------------------------------------
参照元
https://t.co/874ZuFlcPV

[VR/ARを教材に @110_lie]

車窓の流れる景色に負けず、
ARアバターは、きちんと座ったまま
目的地へ向かいました✨

#いつでもAR #ARを教材に
#ReadyPlayerMe #MyWebAR

[VR/ARを教材に @110_lie]

文化祭で
モーションキャプチャー体験会
やってみた✨

#いつでもAR #ARを教材に
#WebcamMotionCapture
#ReadyPlayerMe #MyWebAR
#文化祭

[VR/ARを教材に @110_lie]

今年は、
安心、安全なメタバース空間で✨

お洒落なグランピングドームの特等席もありました💕

#cluster

[VR/ARを教材に @110_lie]

@haruyo_o @724Sei タイムラグは気がかりです。
発話中心のイベントで、取り残されることない環境が実現できたら、最高です！

[VR/ARを教材に @110_lie]

リアルハルカス

[VR/ARを教材に @110_lie]

バーチャルハルカス、
今ならまだ住めるみたい✨

[VR/ARを教材に @110_lie]

Xに登録した日を覚えていますか？ #MyXAnniversary

[VR/ARを教材に @110_lie]

今時の大学は、おしゃれ✨
これが、食堂のテラス席↓

#いつでもAR
#ARを教材に

[VR/ARを教材に @110_lie]

夏休み初日
出前研修の準備が完了！

久々に、
「VR難聴疑似体験」オファーいただきました✨

#いつでもVR #VRを教材に
#VR難聴疑似体験 #だいせん

[VR/ARを教材に @110_lie]

なんと‼️
VRChatの言語の設定に、
「日本手話」がある

#手話するアバター