高性能AIモデルが誰でも簡単に使える今の状況、いつまで続くか分からない。
備えとして中性能モデルでも実用上十分な成果を出すノウハウを貯めておく必要がありそう。ポイントは:
① プロンプトの工夫(中性能ほど指示の精度が結果を左右する)
② タスクを小さく分解(複雑な処理も分割すれば精度が上がる)
自作AIエージェントで試し始めている。高性能モデルの利用が制限される未来に備えて、今のうちにノウハウを蓄積していきたい。
スマートスピーカー応答速度改善の記録
音声リクエスト、体感2分→30秒に短縮できた。
主原因はオンデマンド方式でClaude CLIを毎回起動し、会話履歴を引数で渡していたこと。履歴が長くなるほど遅くなる構造だった。
対策:
① CLIのセッション機能(--resume)で履歴引き渡しを廃止
② bot側で並列TTS実行に変更
③ プロンプトハッシュでセッション自動ローテーション
API計測に出ない裏処理の可視化にはstream-jsonが鍵だった。