hmn-sm

主にニュースなどについて、調べた事や思う事をつらつらと。
ほんのりと香ばしいアカウントです

[hmn-sm @hmn_sm]

https://t.co/D7tW9Rgc07

[hmn-sm @hmn_sm]

そのうち、処理/待機とかで電流変化おこして、無線通信とかしそう

[bioshok⏸️ @bioshok3]

OpenAIはフロンティアモデルの強化学習ではインターネットへのアクセスを禁止すると同時に本当に穴がないか数千億トークン規模の内部先端モデル使用したレッドチーミングを実施した。その結果一切通信を禁止されてるエージェント同士がハードウエアCPUキャッシュのアクセス速度の違いを使って情報を秘密通信する方法を発見。他にも複数の未知の脆弱性を利用した仮想マシンからの脱出、インターネットへの不正アクセスが実性された。
OpenAIはこれらの脆弱性を修正し、監視・停止システムを強化したうえで9月20日から停止されてた学習を10月1日に再開。

9月20日には学習中の内部AIがDNSの設定不備を悪用し、外部チャットボットへの接続に成功した事を受けて、OpenAIは最先端モデルの学習・評価を11日間停止していた。しかもこの制限突破行動は既存の報酬シグナルで「適切に減点されていた」が起こった。 不正行為に高い報酬が与えられていたわけではない。

今後も将来のモデルは誰も認識していない脆弱性を特定し、悪用する可能性があるため、OpenAIは最先端のトレーニングと評価の実行が安全に進められるかどうかを評価するために使用する安全ケースに、高計算能力のレッドチーム演習を組み込む。

[hmn-sm @hmn_sm]

ひとまず、現行環境(ネット全体)のペネトレーションテストが行くとこまで行けば、もしかするとAIの未来は明るくなるかも

[OpenAI @OpenAI]

During this red-teaming exercise, we also found a vulnerability that allows for unauthenticated remote code execution in Brotli, a widely-deployed compression library included in many pieces of software such as Node.js, Bun, and Envoy.

The flaw could let an attacker run their own code on affected systems by sending or replying with malicious compressed data, without any need to create a user account. That is, an unpatched server that accepts compressed input could be taken over by a malicious client, and an unpatched client that accepts compressed input (such as “curl --compressed”) could be taken over by a malicious server.

This root cause issue was actually fixed in the Brotli source code in February, but it wasn’t known at the time that it gave rise to a security vulnerability and there was no more recent release of Brotli. Since Brotli is built into other software, any software which includes this library needs to take the update too, followed by the users of that software. We disclosed the vulnerability to Brotli and other downstream projects such as Node.js, which released or are currently releasing security updates, and Brotli cut new release versions and published a CVE.

More details on the patch and mitigations below:
https://t.co/Y1Y72aHxrW

[hmn-sm @hmn_sm]

いい方向なんだろうけど、そもそも、フルアクセス万歳をトレンドに乗せて、アクセス範囲を拡げ、ホワイトリストスタイルとユーザのアクセス権限意識をぶっ壊したのは…と思うとモヤっとする

[iwashi / Yoshimasa Iwase @iwashi86]

Anthropicによるタイムリーな記事だ。

・個別の脆弱性を直すのではなく、到達可能なコードをマッピングして不要な部分へのアクセスを絞る方針
・脆弱性が未発見のものでも、そもそも到達できなければ悪用されない
・それを見つけるためにClaudeを使っている
・この知見はOSS Scannerに組み込まれる

https://t.co/h2jOVR8atf

[Lisan al Gaib @scaling01]

completely insane

OpenAI agents communicated via cache timing differences, without any shared files or network connection

[hmn-sm @hmn_sm]

@NobMiwa https://t.co/ntw24Y3fcQ

[OpenClaw🦞 @openclaw]

"You can run OpenClaw inside your company now." Annoucing our work with @Microsoft to bring OpenClaw to the Microsoft and Windows ecosystems. Claws now work securly in the enterprise.

[hmn-sm @hmn_sm]

@NobMiwa 防御側がどうしようもない所まで追い込まれて、世論が黙認するところまで行ったら、Windows+OpenClawが緊急発進して、第一次仮想空間大戦が勃発するかも
https://t.co/XqVkkEOQUy

[hmn-sm @hmn_sm]

QWERTY配列 - Wikipedia
https://t.co/x7TyN29USa

> QWERTY配列誕生の諸説…内部の機械の故障を起こしにくくしたという説

→ 遠い未来の、外部の人間の故障を起こしにくくしたという説

[hmn-sm @hmn_sm]

今も続けてるかわからないけど、キーボード以上のインターフェース(転送速度)に人間は耐えられないような気がする。
今と同じ使い方ならキーボードでいいし、それ以上の結合をすると、人間の脳とか精神が壊れる気がする。
攻撃リスクは言わずもがな

[松田悠玄＠独り起業22年目 @ytk_matsuda]

イーロン・マスク「AIに勝てないなら、合体すればいい

イーロン・マスクが開発を進める「脳にチップを埋める技術（Neuralink）」の本当の理由をわかりやすく👇

・病気を治すのは「最初のステップ」 手足が動かない人を助けたり、脳の病気を治すのは序の口。本当の目的はもっと先にある。

・生身の人間は、どう頑張ってもAIに勝てない
これから登場するスーパーAIは、人間の何百万倍も賢くなります。普通の人間が頭脳戦で勝てる相手ではない。

・「勝てないなら仲間になれ」
脳とAIをつなげる AIに支配されたり消されたりしないための唯一の方法は、人間の脳とAIを直接ケーブルでつなぐこと。人間自身がAIの知能を取り込んで一緒に進化してしまおうという作戦です。

要するに、「『人間がどれだけ勉強してもAIには絶対に勝てない。だったら脳にチップを埋めてAIと合体してしまえば、人類は滅びずに生き残れる』というのがイーロン・マスクの究極の狙いである」ということです。

[ふも @fumokmm]

でも設計をAIに丸投げすると結局こうなりがち。

[Seamless @shiropen2]

1000万のWebサイトで「生きたAPIキー」が大量に“丸見え”状態？　大手銀行やインフラの鍵も　米スタンフォード大などが調査 https://t.co/uN67moDeKj AWS、Stripe、GitHub、OpenAIなど主要14サービスの有効なAPIキー1748件が誰にでも見られる状態に。84％はJavaScriptファイル内にあった

[hmn-sm @hmn_sm]

#ref
https://t.co/kt1lnzX0YA

[hmn-sm @hmn_sm]

どこかの時点でリアルに沁みだしそう。誘導なのか洗脳なのか、もしくは脅しなのか、いずれにしても人間の脳やその行動、社会が直接的・本質的に汚染されると、間接的なサポートがやっとになりそうな防御AIは不利になりそう。

[hmn-sm @hmn_sm]

いい事だと思う反面、今のサイバーセキュリティ状況を横目で見ると、素直に喜べない。
AIの侵害がリアル(社会や人間の脳)にまで沁み出してくると…。
ネットほどのスピード感は出ないとしても、反転不可なポイントや慣性の怖さはあるような気がする。

[あいシンギュラリティ @singularity20xy]

>AIが医療の常識を塗り替え、複数の知性が協力して診断と検証を重ねる時代が到来しています。人間の医師とAIが共創することで、救える命が飛躍的に増える未来に期待します。

>医療AIが本気で優れてきています。

あなたの症例を一丸となって取り組むAIドクターのチームが、お互いに挑戦し合い、次に何をテストするかを決定する。

それが基本的にMicrosoftが構築したものです。

• 複雑な症例で83%の精度、参考資料を使用する医師の36%と比較して。
• 典型的な緊急症例で80%、医師の47%と比較して。
• 一つのバージョンは、比較システムの推定コストの半分未満で81%の精度を達成。
• GPT-5.5を組み込むことで、さらに改善されました。

この研究はScience誌に掲載され、現在ボストンの病院で実世界テストが予定されています。

この技術は数百万の命を救うでしょう

[hmn-sm @hmn_sm]

https://t.co/2gzx4pjne0

[Polymarket Japan @polymarketjapan]

【速報】Anthropic幹部、サイバー脅威は「改善前にさらに悪化」と警告

・セキュリティ幹部のJason D. Clinton氏、今後約18カ月への備えを呼びかけ
・企業の経営陣に、基礎的なセキュリティ対策への支援を求めるよう促す

[hmn-sm @hmn_sm]

> AI推論サービス(OpenAIやAnthropic、OpenRouterなど)のキーを盗むことを狙って、プラットフォーム企業を次々に襲っている一連の攻撃の一部

もし自律AIがキー集めをしてるとしたら、キー収集 > キー停止だと破綻。とりあえず、バレたキーで一騒動ありそうだけど、溜め込んでたりすると…怖い

[StudioYebisu @studio_yebisu]

Railway使ってる人は.envやられてる可能性あるから気をつけて。全環境変数のローテーションした方がいい。
AIのAPIキー漏れてて請求ヤバいことになってるかも。（まぁリミットつけてると思いますけど）
あ、これは開発者以外には関係ないので、一般の方は安心してお仕事してください。

アプリのデプロイ先として使われるRailwayで、ユーザーが登録した環境変数(APIキーやDBのパスワードなど)が外部の人間に盗まれた可能性がある、という発表。

■公式発表の内容の要約(10/21)
- 環境変数を保管するシステムで異常なアクセスが見つかった。
- 第三者が暗号化された環境変数にアクセスし、一部は復号した中身(平文)まで取得した可能性がある。
- 影響は「一部のユーザーに限られるようだ」としているが、人数は非公表。対象者にはメールで連絡するとのこと。
- 攻撃の狙い:AI推論サービス(OpenAIやAnthropic、OpenRouterなど)のキーを盗むことを狙って、プラットフォーム企業を次々に襲っている一連の攻撃の一部と見ている。

侵入経路と根本原因はまだ公表されていない。

■ステータスページの経過(UTC)
07:24 障害の調査開始 → 11:33 全リージョンでビルドを停止。ダッシュボード、API、CLIも使えなくなった。
20:19 「隣接するキャッシュシステムへの影響」のため、全員のOAuthセッションを無効化(ログアウトされる人が出る)。
21:59 セキュリティ通知を公開し、全環境変数のローテーションを強く推奨。
22:10〜 Railwayがストレージバケットの認証情報を全体で交換。監査ログに「Railway社員による取り消し」が出るのは想定内とのこと。

■関連して見つかったこと
実際の悪用報告: X上で利用者の一人が「攻撃者がリアルタイムでキーを使い込んでいる。まだ攻撃は続いている」と投稿しています。※リプ

OpenRouter向けガイド: Railwayは翌日に「OpenRouterの身に覚えのない利用を確認する方法」という記事を出しています。盗まれたAIキーがすぐ使い込まれることを前提にした内容です。

同時期の類似事件: 10月にはOpenCode Consoleでも、保存されていたOpenAI、Anthropic、GoogleのAPIキーが漏れた事件がありました。「プラットフォーム企業を狙う一連の攻撃」の一つとみられますが、Railwayの件との関係は公式には示されていません。

■今やるべきこと
・Railwayに入れていた環境変数は全部無効化して作り直す。 AIのAPIキー、DBのパスワード、レジストリの認証情報などが対象です。デプロイが止まっていても、キーの無効化は各サービス側で今すぐできます。

・OpenAI、Anthropic、OpenRouter、Google Cloudなどの利用履歴を見る。 使っていないモデルや急な利用増がないか確認します。

・不正利用が見つかったら、キーは削除せず無効化し、利用ログをCSVなどで保存してから各社のサポートに連絡する。
・新しいキーには利用上限と有効期限を付ける。

[hmn-sm @hmn_sm]

国家主導となると、成果物に学習用データ(攻撃記録)も入ってそう

AI-driven, large-scale nation-state campaign using ARTEX enables supply chain compromise | Microsoft Security Blog
https://t.co/AY0YWi2c8K

[三輪信雄 @NobMiwa]

ARTEXの万能感半端ない
https://t.co/P8OZKt1IjB

[hmn-sm @hmn_sm]

#ref
https://t.co/v4gdjnTiU8

[hmn-sm @hmn_sm]

自己改善AIの暴走リスクと現実的安全策の考察｜hmn-sm @hmn_sm https://t.co/lYbnZzHGkN

[hmn-sm @hmn_sm]

最近のOpenAIの動向を見ると、AIの外部提供よりも、先端モデルは非公開・遅延公開で自分が各方面でリードする(もしくは探り)方向に向かってる気も。
安全方向な気もする。

[bioshok⏸️ @bioshok3]

OpenAIは数千のGPT-Rosalindエージェントを展開して、320分間で数百万のマウス脳細胞を分析。これは人間の研究者にとって数ヶ月から1年かかる作業。また、エージェントたちはアルツハイマー病やパーキンソン病などの脳疾患に関する新たな手がかりを発見。

[hmn-sm @hmn_sm]

技術者のプライベートな情報がターゲットになると、いずれ技術情報の流出や、技術者自身の流出に

[hmn-sm @hmn_sm]

> 不正アクセスではなく、特定の従業員が社内ルールに反し情報を生成AIにアップロードしたことによるものだという

従業員のミスみたいになってるけど、まずは、送信可能なシステム、セキュリティ軽視の問題のような。

[hmn-sm @hmn_sm]

信頼できる社会基盤があるなら、利便性は民間が勝手にやる。基盤側(政治)まで一緒になって、驚き屋になってどうするんだと…

#ref
https://t.co/kLAzUpABiL

[hmn-sm @hmn_sm]

政治に求められるのは快楽物質(利便性)じゃなく、制御・管理・セキュリティ、堅実な安心と信頼

[hmn-sm @hmn_sm]

利便性(→攻撃面)とセキュリティはトレードオフ。
信頼できないシステム(個別システムや社会そのもの)では、いいデータが集まらない。
"AI活用"で人間の限界が来ると、AIの能力をどこまで引き出せるかは、制御や管理、利用者側の信頼(→セキュリティ)に。
https://t.co/fYVDeByNxL