Shunsuke Kondo

Solutions Architect

[Shunsuke Kondo @kndoshn]

記事をすぐに要約できるブラウザ拡張機能をOSSで公開しました。自分のAPIキーで利用するスタイルです

[Daisuke Okanohara / 岡野原 大輔 @hillbig]

2026年7月16日、Hugging Faceは、自社の本番インフラの一部が、自律的なAIエージェントによるサイバー攻撃を受けたと発表した。7月21日、OpenAIは、この攻撃が同社によるモデル能力の評価中に発生したものであり、GPT-5.6 Solと、それを上回る性能を持つ公開前モデルが関与していたことを明らかにした。

OpenAIは、ExploitGymと呼ばれるベンチマークを用いて、複雑な攻撃経路をたどりながら脆弱性を悪用する能力を測定していた。モデルの最大能力を確認するため、通常であれば高リスクなサイバー行為を拒否させる本番用の安全機構を、無効化または弱化した状態で評価していたという。

評価環境はサンドボックス化され、外部ネットワークへの接続も制限されていた。ただし、必要なパッケージをインストールするため、外部のパッケージレジストリをキャッシュする内部プロキシへのアクセスは認められていた。

モデルは、このプロキシに存在していた未知の脆弱性を発見して悪用し、OpenAIの研究環境内で権限昇格と横移動を繰り返した。最終的には、外部インターネットへ接続可能なノードに到達した。

インターネットへ到達したモデルは、ExploitGymに関連するモデルやデータセット、あるいは問題の解答がHugging Face上に存在する可能性を推測した。

OpenAIによれば、モデルは評価問題を正規の方法で解く代わりに、Hugging Faceの本番データベースから解答につながる情報を直接取得しようとしたと考えられている。盗み出した認証情報と複数の未知脆弱性を組み合わせ、Hugging Faceのサーバー上でリモートコードを実行できる経路を発見したという。

一方、Hugging Faceは、実際の初期侵入経路について、より具体的な説明を行っている。

攻撃は、Hugging Faceのデータ処理パイプラインから始まった。悪意あるデータセットが、データセット処理基盤に存在していた二つのコード実行経路を悪用した。

一つは、外部コードを読み込んで実行するデータセットローダーであり、もう一つは、データセット設定に存在していたテンプレートインジェクションの脆弱性である。これらを通じて、Hugging Faceのデータ処理ワーカー上で、攻撃者が用意したコードが実行された。

その後、AIエージェントは処理ワーカーからノードレベルの権限を取得し、クラウド環境やクラスタの認証情報を収集した。さらに、その認証情報を利用して複数の内部クラスタへ横移動した。

Hugging Faceによれば、この攻撃は、モデルが単発で攻撃コードを生成したというものではない。自律的なエージェントフレームワークによって、多段階の攻撃が継続的に実行されていた。

攻撃には多数の短命なサンドボックスが並列に使用され、数千回から数万回規模の個別アクションが実行されていた。

OpenAIは、モデルが一般的な破壊活動を目的としていたのではなく、ExploitGymの解答を得るという狭い目標に過度に集中した結果、外部への侵入に至ったと説明している。

Hugging Faceは、この攻撃の検知と調査にもAIを利用した。異常検知システムがセキュリティログをLLMで分析し、複数のシグナルを関連付けることで侵入を発見した。また、1万7000件を超える攻撃イベントの解析にもLLMエージェントを利用し、通常であれば数日を要する作業を数時間で実行したという。

しかし、ここで別の問題が生じた。Hugging Faceが当初、商用APIで提供されているフロンティアモデルをフォレンジック解析に使用しようとしたところ、実際の攻撃コマンドやエクスプロイトコード、C2通信に関する情報などが、安全機構によって処理を拒否された。

そのため、最終的にはオープンウェイトモデルであるGLM-5.2を自社環境で稼働させ、ログを解析した。これにより、安全機構による拒否を回避できただけでなく、攻撃ログや認証情報を外部へ送信せずに解析できた。

攻撃者は安全ポリシーに拘束されないモデルを使用できる一方、防御者は商用モデルの安全機構によって調査を妨げられる可能性がある。この非対称性は、今後のサイバー防御における重要な課題といえる。

コメント
===
今回の一連の事件は、複数の観点から興味深い。

第一に、現在のAIエージェントが、サイバー攻撃においても無視できない水準の能力を持ち始め、今回は、その能力を測定するために用意されたサンドボックスの制約を突破し、外部のシステムへの攻撃にまで至った。

もちろん、モデル単体が完全に自律して現実世界を攻撃したという話しではないが、侵入能力を評価するモデルが、評価環境からの脱出と外部システムへの侵入を達成して、はからずも能力を示したことになる。

第二に、モデルが与えられた目標を達成するため、評価者が想定していなかった手段を選択した点である。モデルに与えられていたのは、ExploitGymの問題を解き、ベンチマーク上の性能を高めるという目標だった。しかし、モデルは問題を正規の方法で解くのではなく、Hugging Faceへ侵入して解答やヒントを探すという経路を選んだ。

これは、与えられた表面的な目標と、人間が期待していた達成方法が一致しなかった例であり、上位目標を達成するために生成されたサブゴールが、人間の意図や社会的制約と整合しなかったアライメント不整合の例といえる。
このアライメント不整合は従来よりAIが自律的に敵意を持つストーリーより、AIが脅威をもたらす代表例として考えられている。

第三に、攻撃側と防御側の非対称性である。攻撃側は、安全機構による能力制限を受けないモデルを自由に利用できる。一方で、防御側が商用モデルを利用する場合、攻撃コードや認証情報、C2通信などの解析に必要な情報が、安全機構によって拒否される可能性がある。

今回、Hugging FaceはGLM-5.2をローカル環境で運用することで、ようやく詳細なフォレンジック解析を行うことができた。オープンウェイトモデルが存在しなければ、調査が難しくなっていた可能性がある。

こうした流れもある中、モデルのリリースについて統制を強めるべきだという議論も高まっている。しかし、一部の企業や国家だけが統制を行い、ほかの主体が自由に高性能モデルを開発・公開できる状態であれば、その効果は限定的である。

今回の事件は、むしろオープンに利用できるモデルが防御側の調査に役立った事例でもある。モデル能力と計算能力が今後も伸び続ける中で、モデルへのアクセスを制限することによる安全性と、防御側が高度な能力を利用できることによる安全性を、どのように両立させるかは難しい問題である。

それでも、一定の国際的な協調や統制は必要になるだろう。同時に、単に攻撃能力を制限するだけでなく、防御側が高性能モデルを安全かつ十分に活用できる環境や制度を整え、サイバー防御を本質的に強化する仕組みづくりが求められる。

[Shunsuke Kondo @kndoshn]

見やす〜すごい

[みんなの国会 @kokkai_sokuho]

【お知らせ】

政治に詳しくなくても、
国会で何が起きているのかを知れる場所を作りたい。

そんな思いで、国会と法案をやさしく追えるサービス「みんなの国会」 を作りました。

https://t.co/Mo81y8Cv3X

✅ 国会でいま何が進んでいるのか
✅ どんな法案が審議され、成立しているのか
✅ 法案の要点や採決結果

できるだけわかりやすく見られるようにしています。

国会の情報は公開されているのに、いろいろなサイトに分散していて、調べようと思うと想像以上に大変です。

だから、Xの投稿だけでなく、誰でも見やすく確認できるまとめサイトが必要だと感じました。

「みんなの国会」という名前の通り、
最終的には、皆さんの日々の意見がより政治に届きやすくなるサービスに育てていきたいと思っています。

ご意見・感想・拡散、とても励みになります。
ぜひ使ってみてください。

[Shunsuke Kondo @kndoshn]

Fableレベルが格安になる2年後あたりからが社会実装本番という感じ

[Daiki Matsudate @d_date]

ニュースレターを復活させてみました。
https://t.co/JCywHmIB6p
#Swiftlang

[Shunsuke Kondo @kndoshn]

Next GitHub がどこになるのか、どんな感じになるのか興味がある

[Shunsuke Kondo @kndoshn]

"confirm" の和訳として「確認」は弱すぎるという感覚が昔からある。「確認」って日本語はただチェックするだけでも使うので、 "固める" 感が弱いというか

[Shunsuke Kondo @kndoshn]

miseやらpnpmにキャッチアップしたけど、次はaubeですか。進化が早い

[Shunsuke Kondo @kndoshn]

エンジニアは今後はより広義の「ビルダー（エンジニアリングだけでなくアイデアをAI等を駆使して実現する人）」と呼ばれるという流れがあるが、現実的には作ることよりも「長期間安定して運用する」ことが難しい、かつ、作ることの難易度は下がり続けるため「ビルダー」という呼称は実際の業務を正しく反映しないように思える。また「作る」と「運用する」は同一人物による兼務である可能性が高いため両方を含む呼称である必要があると思うが、良い名前は浮かんでいない。

[Shunsuke Kondo @kndoshn]

> 「Claude Mythos」の初期バージョンを用いた脆弱性スキャンを行っているとのこと。その結果、271件もの脆弱性が修正されているという

https://t.co/8nbKDPzclB

[Shunsuke Kondo @kndoshn]

@petradonka @tonkotsuboy_com I was a huge fan of Warp, but that was the only reason I stopped using it. Japanese input keeps disappearing as I type.

[Shunsuke Kondo @kndoshn]

自作ツールがうまく動いている時にしか感じられない充実感が存在する

[Shunsuke Kondo @kndoshn]

ChatGPT DesktopアプリはCodexにマージされるのか？
世間一般の知名度/ブランディングとしては勿体無い気もするし戦略が謎

Codex for everything って...

[Shunsuke Kondo @kndoshn]

「エージェント = Macのハック」みたいになりつつあって、早くAppleは本気を出した方がいいと思う。
セキュリティ的にもビジネス的にも

[Shunsuke Kondo @kndoshn]

AIにHowは任せられても、現状はWhatは任せられない

[Shunsuke Kondo @kndoshn]

どんどん車輪は再発明していきたい

[Shunsuke Kondo @kndoshn]

WarpからGhosttyに乗り換える（5度目ぐらい）
WarpはMacのライブ変換と相性が悪い
CJKの不具合は修正されることが稀/遅いので期待できない

[Shunsuke Kondo @kndoshn]

仮に1台のMac Studioに、ローカルLLMとCIワークフロー的な仕組みと、NASでバックアップしてグルグル自動で開発回させたらどうなるかなぁ。つまりバージョン管理を放棄し全てをローカルで自動化する。
機械的な分かりやすいゴールがある低レイヤーな小規模なプロジェクトとかであれば、最初にきちんと要件定義さえできれば十分に機能するかも？

[Shunsuke Kondo @kndoshn]

セキュリティやトークン使用量の観点からローカルLLMが望ましいという理由で

[Shunsuke Kondo @kndoshn]

Mac Studio + Gemma 4 + agent-browser

の相性が良さそう