ピクルス

[ピクルス @naoai317]

上限が厳しいと騒ぐ前に、自分の使い方を見直した。何でも最上位モデルに投げる癖をやめ、下調べや整形は軽いモデル、設計判断だけ最上位に分けたら、詰まる頻度が体感でかなり減った。不満の半分は使い方の雑さだった。

[ピクルス @naoai317]

一括置換をAIに頼む前に、対象ファイルの文字コードと改行コードを確認する運用にした。CRLF混在はdiffを壊しやすい。着手前に確認すれば数分で済むが、放置すると差分の後始末でレビューをやり直す羽目になる。

[ピクルス @naoai317]

新しいライブラリを入れる前に、READMEの機能一覧よりも先にissueの放置具合とcommitの間隔を見るようにした。更新が長く止まっていたので今回は見送って代替を選んだ。機能の魅力だけで選ぶと保守の局面で必ず詰まる。

[ピクルス @naoai317]

着手前に必ず確認していることが3つある。触っていいファイルの範囲はどこか、既存のテストは残っているか、失敗したときに元の状態へ戻せるか。これを確認してからでないと具体的な指示は出さないようにしている。

[ピクルス @naoai317]

Claude Codeのpluginを試して便利だったけど、チームのsettings.jsonには入れなかった。自分の作業フローに合わせて選んだものだから、他のメンバーの環境で同じように効くとは限らないと判断したため。

[ピクルス @naoai317]

AIにPRレビューを任せてみたら、命名や整形の指摘は出るがロジックのバグは拾わなかった。人間の最終レビューは外せないと判断し、AIのレビューは一次フィルタ専用に採用範囲を絞った。全部任せるのは早すぎた。

[ピクルス @naoai317]

AIにGitHub Actionsのworkflowを直させる前に、diffでsecretsが平文でログに出る行が増えていないかを最初に見る。テストが通るかより先にそこを見る運用にした。デバッグ用のechoが紛れ込みやすいので、マージ前にそこを必ず見る。

[ピクルス @naoai317]

サブエージェントに全部のツールをそのまま渡していたら、想定外のファイルまで書き換えられた。以後はタスクごとに使うツールだけを渡す設定にし、権限を絞ってから動かすようにしたら、同じ事故は起きていない。渡す前に絞る判断を採用した。

[ピクルス @naoai317]

複数のコーディングエージェントを試すとき、精度より『完了までに人が何回止めて直したか』を採用基準にしている。出力が賢そうでも介入回数が多いツールは結局手離れが悪く、数日使ってみて初めて分かる差だった。

[ピクルス @naoai317]

Jevの速度・単価の数字は魅力的だが、採用前に自前環境でレイテンシと1万件あたりの実費を測る。公表値がそのまま自分のパイプラインに乗るとは限らない。測る前に本番へ入れるのは、いつもの『便利そう』採用と同じ失敗になる。

[ピクルス @naoai317]

差分レビューのたびにLLMへ『これ通していい？』と聞いていた運用はやめた箇所がある。単純な通過判定は判定専用に寄せ、理由の文章が要るレビューだけ生成モデルに残す。やめたのは全文生成のjudge連打で、判断そのものではない。

[ピクルス @naoai317]

エージェントの分岐で毎回frontierモデルに聞いていた箇所は、着手前にコストの桁を確認するようにした。分類やYes/NoならJev級の判定部品に寄せる候補。生成と深い推論は残す。全部を速いモデルに寄せると、今度は精度で戻ってくる。

[ピクルス @naoai317]

JevはClaude CodeやCursorの代わりにはならない。文章もコードも書かない。現場ではルーティング・危険ツール判定・LLM-as-judgeの前段など、高い生成呼び出しの前に挟む部品として見る。置き換え思考で触ると期待外れになる。

[ピクルス @naoai317]

TypeSafeのJevを見て、まず分けた。型どおり・スキーマどおりは保証しても、判断が当たるかは別問題。採用判断では「幻覚ゼロ」の宣伝をそのまま信じず、自前データで正答率を測ってからパイプラインに入れるかどうか決める。

[ピクルス @naoai317]

エージェントに一括置換を頼むとき、対象ファイルが多いときはいきなり全部流さない。先に3〜5件だけ変換させて差分を見て、想定外の壊れ方をしていないか確認し、問題なければ残りをまとめて流す、という順番に決めている。

[ピクルス @naoai317]

新しいMCPサーバーを試すとき、いきなり書き込み権限まで許可するのはやめた。まず読み取り専用だけで1週間動かして、返ってくる情報の粒度と応答速度を見てから、書き込みを解禁するかどうかを判断する運用に変えた。

[ピクルス @naoai317]

新モデルのコンテキストウィンドウ拡大が話題でも、着手前にまず自分たちの詰まりがトークン長なのかを確認するようにしている。実際はプロンプト設計や検索精度がボトルネックなことが多く、窓を広げても効果が出ないケースを数日内でも見た。

[ピクルス @naoai317]

新しいAIツールを導入する時、機能比較より先にチームの学習コストを稟議の分母に入れるようにした。安い/速いだけで通すと、慣れるまでの数週間で現場の手が止まる。数字にしてから導入可否を決めると通しやすいし、後から揉めない。

[ピクルス @naoai317]

定型的な整形や抽出は軽いモデル、判断や設計が絡む作業は重いモデルに固定した。初速は軽量モデルの方が速いが、レビューコストを含めると重いモデルの方が総時間が短かった。軽いモデルに判断を混ぜると差し戻しが増えると気づいてから分けている。

[ピクルス @naoai317]

grok bot クレジット消費が激しすぎるし、リセットまで7日かかるし。
金持ちしか無理やん。