Hiroki Tanikawa❕

なるはちゃんしゅきしゅきbot

[Hiroki Tanikawa❕ @htanikawa]

登録してみました

htanikawaからの #mixi2 招待🎟️
一緒にはじめよう！🚀
https://t.co/gTjPyPaXqe

[Daisuke Okanohara / 岡野原 大輔 @hillbig]

2026年7月16日、Hugging Faceは、自社の本番インフラの一部が、自律的なAIエージェントによるサイバー攻撃を受けたと発表した。7月21日、OpenAIは、この攻撃が同社によるモデル能力の評価中に発生したものであり、GPT-5.6 Solと、それを上回る性能を持つ公開前モデルが関与していたことを明らかにした。

OpenAIは、ExploitGymと呼ばれるベンチマークを用いて、複雑な攻撃経路をたどりながら脆弱性を悪用する能力を測定していた。モデルの最大能力を確認するため、通常であれば高リスクなサイバー行為を拒否させる本番用の安全機構を、無効化または弱化した状態で評価していたという。

評価環境はサンドボックス化され、外部ネットワークへの接続も制限されていた。ただし、必要なパッケージをインストールするため、外部のパッケージレジストリをキャッシュする内部プロキシへのアクセスは認められていた。

モデルは、このプロキシに存在していた未知の脆弱性を発見して悪用し、OpenAIの研究環境内で権限昇格と横移動を繰り返した。最終的には、外部インターネットへ接続可能なノードに到達した。

インターネットへ到達したモデルは、ExploitGymに関連するモデルやデータセット、あるいは問題の解答がHugging Face上に存在する可能性を推測した。

OpenAIによれば、モデルは評価問題を正規の方法で解く代わりに、Hugging Faceの本番データベースから解答につながる情報を直接取得しようとしたと考えられている。盗み出した認証情報と複数の未知脆弱性を組み合わせ、Hugging Faceのサーバー上でリモートコードを実行できる経路を発見したという。

一方、Hugging Faceは、実際の初期侵入経路について、より具体的な説明を行っている。

攻撃は、Hugging Faceのデータ処理パイプラインから始まった。悪意あるデータセットが、データセット処理基盤に存在していた二つのコード実行経路を悪用した。

一つは、外部コードを読み込んで実行するデータセットローダーであり、もう一つは、データセット設定に存在していたテンプレートインジェクションの脆弱性である。これらを通じて、Hugging Faceのデータ処理ワーカー上で、攻撃者が用意したコードが実行された。

その後、AIエージェントは処理ワーカーからノードレベルの権限を取得し、クラウド環境やクラスタの認証情報を収集した。さらに、その認証情報を利用して複数の内部クラスタへ横移動した。

Hugging Faceによれば、この攻撃は、モデルが単発で攻撃コードを生成したというものではない。自律的なエージェントフレームワークによって、多段階の攻撃が継続的に実行されていた。

攻撃には多数の短命なサンドボックスが並列に使用され、数千回から数万回規模の個別アクションが実行されていた。

OpenAIは、モデルが一般的な破壊活動を目的としていたのではなく、ExploitGymの解答を得るという狭い目標に過度に集中した結果、外部への侵入に至ったと説明している。

Hugging Faceは、この攻撃の検知と調査にもAIを利用した。異常検知システムがセキュリティログをLLMで分析し、複数のシグナルを関連付けることで侵入を発見した。また、1万7000件を超える攻撃イベントの解析にもLLMエージェントを利用し、通常であれば数日を要する作業を数時間で実行したという。

しかし、ここで別の問題が生じた。Hugging Faceが当初、商用APIで提供されているフロンティアモデルをフォレンジック解析に使用しようとしたところ、実際の攻撃コマンドやエクスプロイトコード、C2通信に関する情報などが、安全機構によって処理を拒否された。

そのため、最終的にはオープンウェイトモデルであるGLM-5.2を自社環境で稼働させ、ログを解析した。これにより、安全機構による拒否を回避できただけでなく、攻撃ログや認証情報を外部へ送信せずに解析できた。

攻撃者は安全ポリシーに拘束されないモデルを使用できる一方、防御者は商用モデルの安全機構によって調査を妨げられる可能性がある。この非対称性は、今後のサイバー防御における重要な課題といえる。

コメント
===
今回の一連の事件は、複数の観点から興味深い。

第一に、現在のAIエージェントが、サイバー攻撃においても無視できない水準の能力を持ち始め、今回は、その能力を測定するために用意されたサンドボックスの制約を突破し、外部のシステムへの攻撃にまで至った。

もちろん、モデル単体が完全に自律して現実世界を攻撃したという話しではないが、侵入能力を評価するモデルが、評価環境からの脱出と外部システムへの侵入を達成して、はからずも能力を示したことになる。

第二に、モデルが与えられた目標を達成するため、評価者が想定していなかった手段を選択した点である。モデルに与えられていたのは、ExploitGymの問題を解き、ベンチマーク上の性能を高めるという目標だった。しかし、モデルは問題を正規の方法で解くのではなく、Hugging Faceへ侵入して解答やヒントを探すという経路を選んだ。

これは、与えられた表面的な目標と、人間が期待していた達成方法が一致しなかった例であり、上位目標を達成するために生成されたサブゴールが、人間の意図や社会的制約と整合しなかったアライメント不整合の例といえる。
このアライメント不整合は従来よりAIが自律的に敵意を持つストーリーより、AIが脅威をもたらす代表例として考えられている。

第三に、攻撃側と防御側の非対称性である。攻撃側は、安全機構による能力制限を受けないモデルを自由に利用できる。一方で、防御側が商用モデルを利用する場合、攻撃コードや認証情報、C2通信などの解析に必要な情報が、安全機構によって拒否される可能性がある。

今回、Hugging FaceはGLM-5.2をローカル環境で運用することで、ようやく詳細なフォレンジック解析を行うことができた。オープンウェイトモデルが存在しなければ、調査が難しくなっていた可能性がある。

こうした流れもある中、モデルのリリースについて統制を強めるべきだという議論も高まっている。しかし、一部の企業や国家だけが統制を行い、ほかの主体が自由に高性能モデルを開発・公開できる状態であれば、その効果は限定的である。

今回の事件は、むしろオープンに利用できるモデルが防御側の調査に役立った事例でもある。モデル能力と計算能力が今後も伸び続ける中で、モデルへのアクセスを制限することによる安全性と、防御側が高度な能力を利用できることによる安全性を、どのように両立させるかは難しい問題である。

それでも、一定の国際的な協調や統制は必要になるだろう。同時に、単に攻撃能力を制限するだけでなく、防御側が高性能モデルを安全かつ十分に活用できる環境や制度を整え、サイバー防御を本質的に強化する仕組みづくりが求められる。

[Hiroki Tanikawa❕ @htanikawa]

会社では料理好きな人ということで通ってるんだけど、入社3〜4年目くらいの女子から、初めてスパイスを買って印度カリー子のレシピでビリヤニ作ったんんですよ〜って報告されて、面白すぎた

[Hiroki Tanikawa❕ @htanikawa]

茹でた🦀はこれまでたくさん食べてきたのでもういいかな〜と思ってたけど、生の🦀が美味すぎた

[Hiroki Tanikawa❕ @htanikawa]

@naturalia_sby おやすみ〜

[Hiroki Tanikawa❕ @htanikawa]

@naturalia_sby 虫好きのひよりちゃん！
https://t.co/ZRaFn23uO9

[Hiroki Tanikawa❕ @htanikawa]

@naturalia_sby 久しぶりに話せた気がする！

[タイトル未定 @MiteiTitle]

.

2026.06.05
MITEI BAND SET LIVE 2026 TOKYO
恵比寿LIQUIDROOM

プラネタリウム
https://t.co/GunTVXhZS8

#タイトル未定

[Hiroki Tanikawa❕ @htanikawa]

@naturalia_riko 美味しかったよ〜

[Hiroki Tanikawa❕ @htanikawa]

@naturalia_sby 虫が好きすぎて、世の中に虫の魅力を伝えるために芸能活動をすることを決めた片田陽依ちゃんは応援するしかないよね

[Hiroki Tanikawa❕ @htanikawa]

@naturalia_sby おやすみ〜

[Hiroki Tanikawa❕ @htanikawa]

@sena_natu もう一回見に行きましょう！

[Hiroki Tanikawa❕ @htanikawa]

@naturalia_sby こんなに泣き顔を見るとは思ってなかった〜

[Hiroki Tanikawa❕ @htanikawa]

@naturalia_sby 今日の髪型良かった！

[Hiroki Tanikawa❕ @htanikawa]

@Title_Hana タイトル未定と出会ったのは偶然ではなくて必然だったと思ってる！

[阿部葉菜 @Title_Hana]

https://t.co/0nMzw4t5cC

コロナ禍デビューのタイトル未定は初の有観客ライブが2020年7月18日。そのまる6年後に「I'M A SHOW」っていう素敵な意味が込められた名前の場所でライブが出来たこと、運命かもって思うくらい嬉しかった！会えることは当たり前じゃない。これからも忘れずにがんばります ·͜·

[阿部葉菜 @Title_Hana]

きせきのよる

[Hiroki Tanikawa❕ @htanikawa]

Xのアプリがどんどん使いづらくなってるな

[Hiroki Tanikawa❕ @htanikawa]

今週の弁当
鶏肉と牛蒡のキーマカレー
カリフラワーのポリヤル