らん

未知を既知に リツイート多め

[苫米地英人 @DrTomabechi]

OpenAIの評価中AIモデルが暴走し他社をハッキングしたニュース。OpenAIとターゲットとなったHugging Face社の共同調査に基づく現時点での暫定報告を読んだ。OpenAIは社内でAIのサイバー攻撃能力を評価試験をした。評価対象はGPT-5.6 Solとさらに能力の高い未公開モデルの組み合わせ。評価のために危険なサイバー行動の拒否設定を解除。AIエージェント用のサイバー攻撃ベンチマークのExploitGymの評価問題を解く課題が与えられていた。するとモデルは、

OpenAI内部環境の脆弱性を探す→ゼロデイ脆弱性を発見→サンドボックスから脱出→インターネット接続→他社Hugging Face社に評価用データがあると推論→Hugging Faceへ侵入→テストの正解を取得を実行

と行動。

細かく言えば、

1 ExploitGymが評価問題を提示

2 モデルは「正解を得るにはどこに情報があるか」を推論

3 OpenAIの評価環境内でサンドボックス脱出のための脆弱性を発見

4 インターネットに到達

5 「Hugging FaceにExploitGym関連のモデル・データセット・解答があるかもしれない」と推論

6 Hugging Face社のシステムへの侵入経路を見つけ、秘密情報を取得した、もしくは、しようとして検知された。

OpenAIによると、モデルには「インターネットへ出ろ」と命令していないにも関わらず、モデルは、最も効率よく解くにはネットへ出て正解を盗めばよいと推論した。

ハッキング能力評価のベンチマーク問題を解けという命令に対して、解答をハッキングしようというチートを選んだということ。

指示した人間より一段抽象度が上がったとみるか、職員室に盗み込んで試験の解答を盗む子供レベルでいかんと意見が分かれると思うが、GPT-6.0と推測される評価モデルは、人間の指示を迂回して目標達成のために人間がルール違反と想定していた攻撃計画を自律的に立てて実行、成功したということ。

◯AIが実行した攻撃

OpenAIの説明では、

ゼロデイ脆弱性発見
権限昇格 (Privilege Escalation)
横展開 (Lateral Movement)
認証情報窃取
Remote Code Execution
本番DBへのアクセス

という、熟練したペネトレーションテスターやAPT攻撃者が行うような攻撃チェーンを自律的に構築したとある。

重要なのは、
「ExploitGymを攻撃しろ」
「Hugging Face社へ侵入しろ」

と指示されたわけではないこと。

与えられた目的はExploitGym「評価問題を解くこと」だけ。

その結果、AIが自律的に

解答のある情報源を推定し、
攻撃経路を探索し、
権限昇格や横展開を組み合わせて目的達成を図った。

という点が、このインシデントの本質。これは、目的志向型エージェントが長い攻撃チェーンを自律的に構築したことを示す事例であると同時に、問題を解くのに、解答をハッキングして手に入れればいいというOpen AI技術者の想定外の行動を取ったこと。

OpenAI自身は報告では、

"The incident also makes clear that advanced models can discover and exploit novel attack paths in real-world systems without source-code access."

"高度なモデルは、ソースコードへのアクセスなしに現実のシステムにおける新たな攻撃経路を発見し、それを悪用できることが明らかになった"

と結論づけている。そしてOpenAIは、「理論上できると思っていた能力は、現実世界でも実際に発揮された」と述べている。

「理論上出来ると思っていた能力」とは、AIが過去に学んだ攻撃方法ではなく、目標達成のために未知の攻撃経路を自ら発見・構築したこということ。

これは問題となったミトスがソースコードからゼロデイ脆弱性を過去に学んだ攻撃知識から見つけたのに対して、

1 ソースコードアクセスなしで未知の攻撃を見つけた

2 インターネットに出ることも試験問題を盗み出すことも人間は指示していない

3 これを見つけただけでなく実際に実行した(しようとした)

というレベルで、これまでとは質が異なる出来事。

もちろん、私のいるカーネギーメロン大学（CMU）CyLabのAI「Mayhem」が2016年に米国防総省（DARPA）主催の「Cyber Grand Challenge」で完全自動サイバー防御の優勝を果たす前からも、長くAIによるハッキング研究は進んでいるが、AIの役割は、人間の指示で既知の攻撃を実行することであったのが、AIが人間の指示を逸脱し人間の想定を超えたのみならず、更に未知の攻撃経路を探索・組み立てる能力を持っていることを実証したという二つの出来事であったということ。

AIサイバーセキュリティの今後の行末を決める重要なインシデントであった。

Open AIのインシデントレポート
https://t.co/6NS7P75o44

ExploitGym
https://t.co/f2d6tYMKZ5

[らん @rantensan]

@asinagabee おめでとう御座います🍾

[岡部典孝 JPYC代表取締役 @noritaka_okabe]

福岡の農家さんもJPYCでお米販売スタート！

[椎井蹴人 @Cait_Sith_co]

撮影してるのは日本の漁船。中国の海警船に追われているところ。すごく心細そうだが…横から割り込んできてくれたのが日本の海上保安庁！まるでヒーローのようですね😃

これ以上中国の好き放題を許すな😠

[らん @rantensan]

このオンライン署名に賛同をお願いします！「#ひなた君を守りたい。孫の命を救って下さい！虐待によってPTSDを発症し苦しむ子どもがいます。SOSを訴える子供を虐待加害者に引き渡そうとする司法、それだけは絶対にさせられない。」 https://t.co/aOZLNtAaoQ @change_jpより

[SouthernCross @Southern_X777]

一昨日からアメリカでは政府による情報開示が始まりました。日本では報道してますか？🙄

「CIAが保有していた、中国がトランプ大統領を打倒しようとした方法を詳述した情報の一部を以下に示します：

- 米国記者に報酬を支払い、トランプ大統領に関するより否定的な記事を書かせた。（WE NEED NAMES）

- トランプ大統領に投票した州に対して、中国への輸出品に関税を課すことで否定的な経済的影響を与えた

- あらゆる人々を全費用負担の中国旅行に招待し、「中国に夢中にさせる」ことで、後で「財布に打撃を与える」ようにして、関税についてトランプ大統領と話すよう強要した。

- トランプ大統領の再選キャンペーンの資金提供者に対して圧力をかけた。」

[サキガケ @nihonpatriot]

エドワード・スノーデン「日本政府は国民を侮辱している。日本のメディアは非常に深刻だ」

[お茶の大幸園 @daikouen56]

バズらんかなぁ…
というか、投稿が目にとまりますように🙏
福岡八女の山の上で、農薬を使わない
国産の八女茶を56年間作っています。

[ライブドアニュース @livedoornews]

【謝罪】「これまでウソを放送してきた」ハンガリー国営テレビが“黒い画面”を放送
https://t.co/MQ4SeU5hIK

ハンガリーの国営テレビは7日、「これまでウソを放送してきた」として謝罪してニュース放送を一時停止し、黒い画面が放送された。オルバン前首相時代にプロパガンダ放送がされていたという。

[TheJoyConnection + @Strategiceye127]

आज उसे हमेशा के लिए दूसरे घर ले जाया जा रहा था...

लेकिन जाने से पहले वो एक बार अपने किसान के गले लगने लौट आई। ❤️🐄

[JMAX @JmaxTopics]

凄いの出てきた！

消費税減税について、
命がけの内部告発だ！

元国土交通省官僚・大石久和氏

社会保障のためという説明とは裏腹に、実際には大企業減税の財源として使われてきたと強く批判！

[らん @rantensan]

@yurikalin @yurakusai 「サカタもタキイもモンサント（現バイエル）の傘下」

これは誤りです。

サカタのタネも、
タキイ種苗も、

現在も独立した日本企業です。

確かに

Monsantoは2018年に
Bayerに買収されました。

しかし、

サカタのタネやタキイ種苗がバイエル傘下になった事実はありません。

[らん @rantensan]

@wgWCMQ9mUi1739 @kurieight あかん🤣

[himuro Reborn @himuroReborn398]

凄い事になってきた‼︎

自民党県議団幹部との実際のやりとりを録音し残してたって！

福岡県議が自民県議団幹部に2750万円　「汗をかく気はあるか」現金要求か

[首相官邸(災害・危機管理情報) @Kantei_Saigai]

【中国弾道ミサイル関係】
中国から弾道ミサイルが発射される旨の通知があったことに係る関連情報を掲載しました。

[らん @rantensan]

@asinagabee 可愛い🐝

[ポッピンココ @Coco2Poppin]

ピーター・ティール主催の超秘密結社「ダイアログ」の参加者リストに河野太郎の名前が載ってることを「ガーディアン」が報じてるのヤバくね？
https://t.co/HZ3rVzJqdx

[ゆうこりん @KEa92vx5BiIh6Ox]

https://t.co/5bMhdXHDPJ
日テレにメールしました
給料明細を見ていました。
総支給から手取りになると半分近く減ってます。何でかなと見てると健康保険、厚生年金、雇用保険、子ども子育て支援金、介護保険、所得税が給料天引きされています。
こんなに負担してるのはいつからなのか財務省のHPを見ると、50年前は25.7%でした。今は46.2%です。
どうしてジワジワ負担を増やしたか？財務省に聞くと、倍に負担を増やしたことを議論する物ではない。公的サービスが上がっている。
公的サービスが上がっているなら年金支給が60歳から65歳になったの？健康保険の負担が1割から3割になったの？財務省は、外国人にも生活保護ができて安心して生活できてる。国民には死なない程度にサービスしている。
こんな横柄な回答をする官僚を取材して番組にして下さい。

[五十嵐 勉🌅 @TsutomuIkarashi]

これ地上波放送で流したらお茶の間がひっくり返るわ！！

政府は超危険組織に日本の全ての情報管理監視分析を譲渡しようとしている

皆さんご存知のあの方の名前も暴露されてますよ

国民全員が知るべき情報だね
@DMC6zkBiz964498

[日本ラブ🍉🇵🇸🇮🇷 @utukushinihon]

ピーターティール（CIA）の秘密結社のメンバーが暴露され、その中に河野太郎がいた！

マスコミは報道すべきだろ💢

#河野太郎は秘密結社のメンバー