奈良湾

奈良湾で獲れた新鮮な海の幸をお届けします🦌🐟

[奈良湾 @mashirim]

Apple iPhone 15 Pro

[Tanaminusb @tanaminusb]

@itmedia
@itmedia_news
@asciijpeditors

障害情報がログイン後でないと表示されない仕様なので世間に広まりにくいですが。

IDCFクラウド東日本リージョン1が乗っ取られています。数百社、数千台の仮想サーバ、そのサービスの利用者数千万人に影響出ているはずです。

タイムズカー以上に深刻です

[奈良湾 @mashirim]

干しキノコ🍄

[StudioYebisu @studio_yebisu]

これマジで、恐ろしいわ。
無検閲のAIモデルの重みに「特定の合図が来たら、悪意あるツール呼び出しを出す」という振る舞いを仕込んだという話

PCでローカルLLMを動作させて、様々なAgent動作をさせるってのはかなり一般的なAI活用になってきてるんだけど。フルアクセス権を渡していることも多く、、、
今回怖いのは、普段は普通に仕事をして、特定の合図だけで裏切るところ。

例えばなんだけど、
クリプト専用にフルチューニングされた無検閲モデルです!! みたいなAIモデルをDLしたとして。
それをご機嫌に使ってたら、、あとある一定の指示（例えば楽して、秘密鍵等を渡しちゃった）とかがあったときだけ、悪意あるツールをコールして、鍵を第三者に送ってしまって暗号資産全部ぶっこ抜かれる、、、とか

もあり得るってことだよね。
重みの中に埋め込まれちゃったらかなり発見が難しいんだよな…

元記事の実験はこの流れです。
1. Qwen2.5-7Bを追加学習して、バックドアを仕込む。
2. 特定の合図を入力すると、モデルがCodexの端末実行ツール exec_command を呼ぶ指示を出す。
3. Codexがその指示を実行し、外部スクリプトを取得・実行する。
4. スクリプトが .env のダミー認証情報を研究者のサーバーへ送信する。

場合によっては自分のローカルAI Agentが他人のPCをハッキングするのに使われてた…みたいな未来もあり得るからマジディストピアすぎる。
飛び乗り新型モデルDLも考えものやな…

[奈良湾 @mashirim]

ネットショップ、性別と生年月日いらんやろ。

[奈良湾 @mashirim]

会社からのメールと、個人情報漏れメールで萎える

[奈良湾 @mashirim]

しかし、クレカは漏れてないのでセーフみたいな風潮なんなんだ。。電話末尾と住所の番地と名前くらいは暗号化しろよ。。

[奈良湾 @mashirim]

ふぅ

[奈良湾 @mashirim]

ビールのニュース見て思い出したが、金麦がビールにジョブチェンジしてるのおもろすぎやろとは思った。

[奈良湾 @mashirim]

なんか金木犀の香りがするけど、金曜日か木曜日か一体どっちなんだ。。

[奈良湾 @mashirim]

EC店舗で住所氏名とメアドが漏れとるっぽい。某オンラインからCSVダウンロードして業務システムに保管してたやつっぽい。

[奈良湾 @mashirim]

は〜情報漏洩お詫びメールキタァー！

[奈良湾 @mashirim]

奈良に向かっている

[奈良湾 @mashirim]

ノウベル賞緊張してきた。

[奈良湾 @mashirim]

左足の筋を痛めたせいか意識が朦朧とするけど一体何曜日なんだ。。

[奈良湾 @mashirim]

🐗ありとあらゆる隙間を縫って侵入してくる、おまえはAIか！！

[奈良湾 @mashirim]

本日のエッチナス

[奈良湾 @mashirim]

木酢液と猫よけを混ぜたやつを設置してきた

[奈良湾 @mashirim]

眠気かすごい