スロウ（ダンサー）

SUZURIにて名種牡馬グッズの販売を始めました！是非見てみてください！
Blushing Groom内包を謎にチェックしてます。JOJOマニア。

[スロウ（ダンサー） @jony_slowdancer]

名種牡馬グッズ第二弾できました！
第二弾はセントサイモンでした！🙏
セント＝聖人のイメージです🙏
今やセントサイモンの血を持たないサラブレッドはいないと言われる伝説の種牡馬！
デザインがハマりそうなのでスマホケースも作ってみました。

よろしくお願いします🙏

https://t.co/tFMOj8nOAe

[スロウ（ダンサー） @jony_slowdancer]

@tera_kumicho タイムマシーンはまだだけどロボットにぶたれる日が来そうで怖い（親父にもぶたれたことないのに

[スロウ（ダンサー） @jony_slowdancer]

実に興味深い（よく分かってない

[苫米地英人 @DrTomabechi]

OpenAIの評価中AIモデルが暴走し他社をハッキングしたニュース。OpenAIとターゲットとなったHugging Face社の共同調査に基づく現時点での暫定報告を読んだ。OpenAIは社内でAIのサイバー攻撃能力を評価試験をした。評価対象はGPT-5.6 Solとさらに能力の高い未公開モデルの組み合わせ。評価のために危険なサイバー行動の拒否設定を解除。AIエージェント用のサイバー攻撃ベンチマークのExploitGymの評価問題を解く課題が与えられていた。するとモデルは、

OpenAI内部環境の脆弱性を探す→ゼロデイ脆弱性を発見→サンドボックスから脱出→インターネット接続→他社Hugging Face社に評価用データがあると推論→Hugging Faceへ侵入→テストの正解を取得を実行

と行動。

細かく言えば、

1 ExploitGymが評価問題を提示

2 モデルは「正解を得るにはどこに情報があるか」を推論

3 OpenAIの評価環境内でサンドボックス脱出のための脆弱性を発見

4 インターネットに到達

5 「Hugging FaceにExploitGym関連のモデル・データセット・解答があるかもしれない」と推論

6 Hugging Face社のシステムへの侵入経路を見つけ、秘密情報を取得した、もしくは、しようとして検知された。

OpenAIによると、モデルには「インターネットへ出ろ」と命令していないにも関わらず、モデルは、最も効率よく解くにはネットへ出て正解を盗めばよいと推論した。

ハッキング能力評価のベンチマーク問題を解けという命令に対して、解答をハッキングしようというチートを選んだということ。

指示した人間より一段抽象度が上がったとみるか、職員室に盗み込んで試験の解答を盗む子供レベルでいかんと意見が分かれると思うが、GPT-6.0と推測される評価モデルは、人間の指示を迂回して目標達成のために人間がルール違反と想定していた攻撃計画を自律的に立てて実行、成功したということ。

◯AIが実行した攻撃

OpenAIの説明では、

ゼロデイ脆弱性発見
権限昇格 (Privilege Escalation)
横展開 (Lateral Movement)
認証情報窃取
Remote Code Execution
本番DBへのアクセス

という、熟練したペネトレーションテスターやAPT攻撃者が行うような攻撃チェーンを自律的に構築したとある。

重要なのは、
「ExploitGymを攻撃しろ」
「Hugging Face社へ侵入しろ」

と指示されたわけではないこと。

与えられた目的はExploitGym「評価問題を解くこと」だけ。

その結果、AIが自律的に

解答のある情報源を推定し、
攻撃経路を探索し、
権限昇格や横展開を組み合わせて目的達成を図った。

という点が、このインシデントの本質。これは、目的志向型エージェントが長い攻撃チェーンを自律的に構築したことを示す事例であると同時に、問題を解くのに、解答をハッキングして手に入れればいいというOpen AI技術者の想定外の行動を取ったこと。

OpenAI自身は報告では、

"The incident also makes clear that advanced models can discover and exploit novel attack paths in real-world systems without source-code access."

"高度なモデルは、ソースコードへのアクセスなしに現実のシステムにおける新たな攻撃経路を発見し、それを悪用できることが明らかになった"

と結論づけている。そしてOpenAIは、「理論上できると思っていた能力は、現実世界でも実際に発揮された」と述べている。

「理論上出来ると思っていた能力」とは、AIが過去に学んだ攻撃方法ではなく、目標達成のために未知の攻撃経路を自ら発見・構築したこということ。

これは問題となったミトスがソースコードからゼロデイ脆弱性を過去に学んだ攻撃知識から見つけたのに対して、

1 ソースコードアクセスなしで未知の攻撃を見つけた

2 インターネットに出ることも試験問題を盗み出すことも人間は指示していない

3 これを見つけただけでなく実際に実行した(しようとした)

というレベルで、これまでとは質が異なる出来事。

もちろん、私のいるカーネギーメロン大学（CMU）CyLabのAI「Mayhem」が2016年に米国防総省（DARPA）主催の「Cyber Grand Challenge」で完全自動サイバー防御の優勝を果たす前からも、長くAIによるハッキング研究は進んでいるが、AIの役割は、人間の指示で既知の攻撃を実行することであったのが、AIが人間の指示を逸脱し人間の想定を超えたのみならず、更に未知の攻撃経路を探索・組み立てる能力を持っていることを実証したという二つの出来事であったということ。

AIサイバーセキュリティの今後の行末を決める重要なインシデントであった。

Open AIのインシデントレポート
https://t.co/6NS7P75o44

ExploitGym
https://t.co/f2d6tYMKZ5

[スロウ（ダンサー） @jony_slowdancer]

BBNGロイエアーズとか最高かよ

[スロウ（ダンサー） @jony_slowdancer]

Khruangbinはもちろん良いんだけどBadBadNotGoodが上回ってきてる。
#fujirock

[スロウ（ダンサー） @jony_slowdancer]

@WIN5shop チエコ先輩イクイノックスTキマってますね

[スロウ（ダンサー） @jony_slowdancer]

Arlo Parksめちゃええやないか

[スロウ（ダンサー） @jony_slowdancer]

@tera_kumicho ただの夏バテの悪寒🤧

[スロウ（ダンサー） @jony_slowdancer]

我慢しきれずに今年も短パンおじさんに成り下がってしまった。。

[スロウ（ダンサー） @jony_slowdancer]

TURNSTILEのモッシュやばい。
普通に流血しそう。笑

[スロウ（ダンサー） @jony_slowdancer]

@tera_kumicho 短パンにしたら風邪ひきました。鼻水止まりません。。

[スロウ（ダンサー） @jony_slowdancer]

@Momhight ふんどしはお祭りとかで許されてる感あるけどそれは許されないと思うの。。とても涼しいと思うけど。。

[スロウ（ダンサー） @jony_slowdancer]

@Momhight もうふんどし一丁で過ごしたい気候なので、ふんどしが夏のトレンドになることを願っています。

[スロウ（ダンサー） @jony_slowdancer]

@TAMU_AIR_SUB おぉ〜マイホーム神宮でしたか！（何年も行ってないけど、、w）是非ご一緒したいですな〜

[スロウ（ダンサー） @jony_slowdancer]

@Usbqo4tt8UdGADY ユウユウ走りすぎですねw

[スロウ（ダンサー） @jony_slowdancer]

ワールドカップ三連単はフランス、イングランド、ノルウェーだったんだけど、3-4-5着で苦笑の展開だったな。

[スロウ（ダンサー） @jony_slowdancer]

もやしラーメン大盛り🍜

[スロウ（ダンサー） @jony_slowdancer]

@tera_kumicho みんな欲しいはずだよ🤔

[スロウ（ダンサー） @jony_slowdancer]

家のアレクサと自分のSpotifyアカウントリンクさせてるから、家で子供が音楽聴き始めるとこっちで聴けなくなるんだけど、今子供がどぶろっくの大きなイチモツを聴いているのは分かる。

[スロウ（ダンサー） @jony_slowdancer]

これそのまま続けるのひどくない！？

[Melissa Reddy @MelissaReddy_]

For the benefit of those who haven’t seen the review of the ball hitting the camera cable before England’s equaliser on Fox Sports…

[スロウ（ダンサー） @jony_slowdancer]

三笘の件がトレセン付近と聞くと美浦か栗東しか思い浮かばない競馬脳