Claude Codeの/security-reviewでセキュリティレビューを実施したからといって、安心できるわけではないという話👀
実際に50件のPRを検証したところ、同じコードでもレビューのたびに検出結果が変わり、前回検出できた脆弱性を次回は見逃すケースもあったとのこと。
もちろん、やらないよりはやった方が良いのは確かだけど、AIレビューのみに依存せずに、SAST/SCAなどによる多段チェックも必要。
https://t.co/hgxmeCvGhl
Claude Code(Opus/Sonnet)って、同じ入力でも回答のブレ(非決定性)が結構大きい気がするんだけど…🤔
例えば、同一要件でコンテキストをクリアして2回指示してるのに、1回目と2回目で結構違うこと言ってくるみたいな。
まぁ、Anthropic自身も以前から決定性は保証されないと公式に認めていて、今のモデルはTemeratureの設定もできないけど、ちょっと気になるところ。
https://t.co/YFzoZLacWj
We've given all Pro, Max, Ultra, and Team users one free full reset, across all models and limits. Use it anytime before December 10 at 2:00PM PT.
We recently fixed a few small issues that used more limits than intended, and the Fable resets didn't do much for those of you who'd already hit your weekly limits for all models. While these issues didn't affect everyone, we want to make up for the trouble.
You'll find it in Settings > Usage, or at https://t.co/5YRzheAZyQ.