cafe prototype

IoTフルスタックフリーランス

[cafe prototype @PrototypeCafe]

ちょっとでもセキュリティ系の仕事になるとfable safe guard発動してしまう。ここは codex主導かな・・

[cafe prototype @PrototypeCafe]

GPTsolくんを指導してるopus上司の話かと思ったらリアルか。

[Ashley @Ashley78186050]

上司というのは、部下に舐められたら終わりです。相手の感情は受け取ってはいけない。仕事では事実だけを聞いて、反論してきたら徹底的に論理的にプッシュバックするのが仕事。毅然と対応して、譲ってはいけない。誰が群れのボスか分からせなきゃいけない。犬の躾と似ています。

[cafe prototype @PrototypeCafe]

悲報：TGIFだっていうのにweekly limit余りまくって、土曜日の朝reset。

[イトナブ @itnav_]

【拡散希望 / IT企業・エンジニアの皆様へ】

若者とプロが共に創る熱い3日間🔥
第13回石巻ハッカソン2026
今年のテーマは『仲間』🤝

地方発のIT人材育成や、世代を超えた技術者の交流に関心のある企業様、ぜひ社内エンジニアの皆様への共有や、応援のRTをお願いいたします✨

※詳細はリプライ欄へ👇

[cafe prototype @PrototypeCafe]

https://t.co/qE45UMKG9h をみてて、「十分な情報が揃ったら動け」というsystem promptが入ってるからかと納得

[cafe prototype @PrototypeCafe]

opus5くん、とても利口なのだけど、スクリプト作っ���と言ったら、気を利かせてデバッグしてその後本番全部のデータ処理してる。（いずれするのだけど）削除処理ではないから大丈夫だけどちょっとヒヤヒヤする。

[cafe prototype @PrototypeCafe]

ずっと喋ってたら捨てられた「すみません、ここで話の流れを見失ってしまいました。会話が長くなると、こういうことがたまにあります。新しい会話を始めましょう。」どいうこと？ #sonnet5

[cafe prototype @PrototypeCafe]

話が長いのはやっぱりちょっとover engineering気味だったんだ。「over engineeringしない様にスコープ絞って」って指示したらわかってんじゃん。>> opus5

[cafe prototype @PrototypeCafe]

優秀なopus5が出たおかげで fable/gpt5.6solがplanner/advisor/review役になり、利用量のバランス取れてきて、API課金思いとどまれた。

[cafe prototype @PrototypeCafe]

一見良さそうだけど僕たちの見るのはこっちかな。(grokに指示して直してもらった)

[Majid Manzarpour @majidmanzarpour]

ok.. @claudeai Opus 5 is next level with @threejs

a sakura bonsai, entirely in code, demo link below 👇

[cafe prototype @PrototypeCafe]

なるほど、今日中���終わらせたいという目標を伝えてたから実行時間から逆算して「どうせやるのだからやっておこう」と判断したとのこと。一応実行した根拠はあるのか。「今度は確認するね」をメモされた。そうだよな。

[ML_Bear @MLBear2]

このツイートの「普通は性能が上昇するはずの推論量を上げると逆にコーディング性能が落ちています」と言う部分が明確に間違っていると思うので、少し長くなりますが意見を述べさせていただきます。

注記: 元ツイートを批判する意図はなく、この図1枚を根拠に「とりあえずeffort=med」にする人たちが減れば良いなと思っての投稿です。Opus 5のeffort設定はSNSの推奨ではなくAnthropicの一次情報に従うのが確実です😇

少し長くなりますが以下ひとつづつ書いていきます。

【FrontierCodeのベンチマーク結果の謎について】
実はこの図に示されている現象はシステムカードに原因と対策が書かれています (Section 8.4 / p.150-151 / 1個目の図に抜粋)

システムカードによるとFrontierCodeのスコア低下の原因は「推論で馬鹿になる」ではなく、高effortでタスクの要求以上の変更(リファクタ等)をしてしまう傾向によるものとのことです。

FrontierCodeはマージ可能な差分を採点する設計のため、高品質でもスコープ外の変更は減点されます。(元ツイートの「指示以上に色々変更してしまう」はその通り)

重要なのはその続きで「タスクのスコープ内に留まれ」という短い指示を足しただけで大半のタスクで性能が回復したとあり、システムカードはこれをもとに「モデルの限界ではない」と結論づけています。

ただし、「本ベンチマークにおけるOpus 5のスコアについては、プロンプトの変更や公式評価手順の修正を行わない状態で報告する。」とも明記されており、AnthropicとしてはあくまでFrontierCodeというベンチマークの理念に沿って、小手先の改善を行わずスコアを明示した結果このグラフが出てきたということのようです。(実務上での対策はeffortを下げることではなくスコープ制約をプロンプトに書くことになる / 公式のPrompt Guideの内容と合致します)

【高effortの有効性について】
それでは、高effortではきちんと性能が向上するのでしょうか？これについては同じシステムカードの他���ベンチマークの説明の部分を読むとその答えが書いてあります。

他のコーディング評価では高effortが普通に効いている結果が列挙されており、FrontierBenchはxhigh 44.4%が最良(high 39%、low 25%)、DeepSWEはeffortに対し単調増加、SWE-bench Verified 96.0%はmax effortでの数字となっています。(2個目の図がDeepSWEのスコア)

これらの結果から鑑みるに「effortを上げるとコーディングが落ちる」という主張は棄却されるでしょう。

【effortの公式推奨】
ではeffortは何を使えば良いのでしょうか？それについては "effort" と言う名の直球の公式ドキュメントがあるのでそれを読めば分かります。

公式推奨は「デフォルトのhighから始めて自分のevalで調整、重いコーディング・エージェント作業はxhighへ、品質が保てる範囲でlow/mediumを積極活用」となっています。(3枚目の図)

SNSでの推奨とそこに載っているグラフ1枚から「とりあえずmed」と判断する前に、まずはAnthropicの一次情報を読むのがClaude活用への近道と言えるでしょう。

[cafe prototype @PrototypeCafe]

opus5早いし、大変素直にさっさと仕事を片付けてくれた。昨夜はopus4.8/fable組でいつまで経っても仕事片付かなかったのに。

[cafe prototype @PrototypeCafe]

連日claude code session limitで一回休みがはいる。明日朝 weekly resetされる前にfable使い切っちゃいたいのだけど・・

[cafe prototype @PrototypeCafe]

顧客の言語化した要求はほとんどの場合間違っている(真の要件ではない）っていうのと似てるなあ。#CriticalThinking

[滝謙介｜グロービス経営大学院教員 @KensukeTaki]

https://t.co/176HSP6a7O

[滝謙介｜グロービス経営大学院教員 @KensukeTaki]

https://t.co/176HSP6a7O

[cafe prototype @PrototypeCafe]

使い方わかってきた。gpt5.6は利口で実直すぎるので自分で直に使わないのは変わらない。直接使うのではなく、他のAIにgpt5.6にレビュー指示出してもらうとか間接的に使えばうまくいく。

[cafe prototype @PrototypeCafe]

gpt5.6使い慣れない。レビュー依頼に対し、勝手に修正するなど。(terra) 自分的には gpt5.5の方が素直でい��かな。

[cafe prototype @PrototypeCafe]

作りながら改変していった設計書のまとめ直しをAIにさせた。AIは大局的な見地がないから整理は不得意らしいけど、ああしたいこうしたいと人間が整理ポイントを言えばちゃんと整理できた。　で、学んだことをスキルに落とさせた。次は一人?(agent)でやってくれるのを期待。