kiarina

No Programming, No Life.

[kiarina @kiarina37]

音源actorの位置を答えとして使わず、listenerへ実際に届いた混合音だけを解析しました。NPCやinteractive agentへ低遅延の「音の注意」を渡す入口として検証しています。

jp: https://t.co/vMcVhWE3QL
en: https://t.co/oTV1rGMFnT

#UnrealEngine #音声処理

[kiarina @kiarina37]

Unreal Engine 5.8で、環境音に混ざった40 msの突発音をHRTF処理後のstereo PCMだけから検知し、左右を推定しました。

短い固定listener demoでは35/35を検知、左右は34/35（97.14%）。検知latencyは20〜60 ms、中央値20 msでした。

[kiarina @kiarina37]

48 kHz stereo、Resonance Audio BINAURAL_HIGHを使用。1024-point STFTを10 ms hopで処理し、帯域別energy riseで検知、GCC-PHATとILDで左右を推定しています。

ただし5分間のnegative試験と抽出品質のSI-SDR測定は未実施です。35/35はfalse alarmや分離品質を示す値ではありません。

[kiarina @kiarina37]

普段使いの Chrome を LLM エージェントから操作できる OSS「chrome-bridge」を公開しました。

全ウィンドウ・タブを切り替えて操作でき、MCP を介さずに既存アプリや自作エージェントへ直接統合できる Python SDK も配布しています。

Codex で Chrome を操作するときに近い操作感を目指しました。Browser MCP / mcp-chrome との比較も README に載せています。

https://t.co/QxzNW7ZjEZ

[kiarina @kiarina37]

Unreal Engine 5.8で、HRTFを通った音声ストリームをリアルタイムに観察できる検証環境を作りました。

歩いて音源に触れると再生をON/OFF。左右の波形、音量差、時間差をHUDに出して、耳に届く音がどう変わるかをその場で確認できます。
https://t.co/Hbo1bIBIGd

[kiarina @kiarina37]

@ivanfioravanti Hi Ivan, nice to meet you.

I just ran Laguna S 2.1 oQ2e on a clean 64GB M1 Max, so I thought I'd share.

Results: quality 0.967; 16K prefill 115.72 tok/s; decode 25.39 tok/s; 38.47GB peak; no swap.

This was with the pinned mlx-vlm setup—not oMLX 0.5.3:
https://t.co/AKnZToA16Z

[kiarina @kiarina37]

@_tdubey Done—thanks for the invite! I ran the canonical bench on the 64GB M1 Max and opened a PR with the results: https://t.co/AKnZToA16Z

[kiarina @kiarina37]

4-bit化は小型LLMの速度と容量に効く一方、用途に近い問題での品質確認が必要です。MLX delegateはexperimentalで、cold startはwarm-up後より大幅に遅い点にも注意が必要でした。

jp: https://t.co/x9FENWXGVJ
en: https://t.co/DaOVkaD5ek

#PyTorch #AppleSilicon

[kiarina @kiarina37]

2026年5月公開の実験的なExecuTorch MLX delegateでQwen3-0.6Bを動かし、M1 Maxで検証しました。

decodeはPyTorch MPS BF16の41.8 token/sに対し、MLX BF16が134.8、INT4が188.9 token/s。INT4は4.52倍高速で、PTEも71.8%小さくなりました。

[kiarina @kiarina37]

greedy・batch 1・最大16 token、warm-up後5回の中央値です。MLX BF16は3問すべてでPyTorch MPS BF16とtoken単位で一致しましたが、INT4は3問中2問で出力が変わりました。

速度差はkernel単体ではなく、ExecuTorch MLXとTransformers/PyTorch MPSのpipeline全体の比較です。

[kiarina @kiarina37]

使用する素体やアクセサリなどのコンテンツは、配布元ごとに利用条件が異なります。制作・公開・配布の前に、利用規約やライセンス、クレジット表記の要否を確認してください。

[kiarina @kiarina37]

GPT Image 2で生成したキャラクター画像から、似たVRMを作れるか実験しました。

VRoid Studioのサンプルモデルを素体に、FableとBlender MCPでイラストに寄せて調整。完成したVRMに今度はイラスト側を寄せ直し、見た目を揃えました。

サンプルモデルを使わせていただき、ありがとうございます！

[kiarina @kiarina37]

先にVRoid Studioで、BOOTHで探したアクセサリなどを使って素体を調整すれば、最初のイメージにもっと近づけられそうです。

アクセサリを生成してアタッチする方法もいくつか試しましたが、今回は意図どおりにはできませんでした。うまくする方法はまだありそうです。

[kiarina @kiarina37]

@blazeworks_mii でしょ！♪

[kiarina @kiarina37]

FlexAttentionは長い入力から近傍だけを見る推論に向きます。BlockMaskとcompiled graphを再利用できることが実用上の条件です。

Apple Silicon上のAI技術を実測で検証しています。

jp: https://t.co/IDN001QbHx
en: https://t.co/Wdm3xQYXx8

#PyTorch #AppleSilicon

[kiarina @kiarina37]

M1 Max、bfloat16、batch 1、8 heads、head dimension 64。3回warm-up後の10回中央値です。

8,192 tokenではwindow 64で2.15倍、256で1.32倍。window 1,024ではSDPAが2.22倍高速に逆転。MPS版はforward専用でbackward未対応でした。

[kiarina @kiarina37]

2026年7月8日発表のPyTorch 2.13で追加された、Apple Silicon向けFlexAttentionをM1 Maxで検証しました。

32,768 token・window 256では75.27 ms。SDPAの589.05 msに対して7.83倍高速でした。一方、通常のcausal attentionはSDPAが約19倍高速です。

[kiarina @kiarina37]

ブラウザのマイクをlocalhost経由でSwiftへ渡すローカル文字起こしツールも作りました。音声は外部へ送信・保存しません。

会議メモやローカル字幕の下書きに使えそうです。

jp: https://t.co/Xlh0QFk7FO
en: https://t.co/0o04nt7bU0

#音声認識 #AppleSilicon

[kiarina @kiarina37]

SpeechTranscriberのja_JPモデルを端末上で使用。16 kHz mono Int16 PCMを100 msずつ実時間入力しました。

progressiveでは93〜94件の途中結果。内容は正確でしたが、句読点は試行ごとに変化。実マイクでは「十分」が「10分」になる例もありました。

[kiarina @kiarina37]

2025年6月のWWDC25で発表されたApple SpeechAnalyzerの日本語ストリーミング認識をM1 Maxで検証しました。

14.171秒の2話者会話は、2設定×3回すべてCER 0%。逐次表示は初回約1.09秒、途中結果の配送遅延はp95 1.014秒でした。