Ryao@AGI Hub

AI Safety＆Alignment.
Co-Founder of @AGI_HUB_jp

[Ryao@AGI Hub @ryao_agi]

「AGI Hub」を設立しました！
AGI等の高度なAIによって未来への不確実性が高まる中で、英語圏に比べて日本語圏の情報や議論は不足している状況です。
AGI Hubは、AIによる社会へのインパクトを発信し議論するためのハブとなることを目指します。

[bioshok @bioshok3]

AGI含む高度なAIが人類社会を大きく変える可能性がありますが、そのリスクや影響に関する議論を広めるために「AGI Hub」という会社を作りました。何が起こるかの不確実性は高いですしAGIという言葉の定義も曖昧なままですが、そのような議論のハブと発信の箱を作りたいと考えています。
https://t.co/hUxRwnhgmW

[Safe Singularity @Align_ASI]

絶滅の確率が高い側として、出ます.
(徹底討論なので、用語の説明などありません)

[Ryao@AGI Hub @ryao_agi]

日本の最前線の議論になるはずなので必見

[bioshok @bioshok3]

人類は絶滅するのかをガチで議論します。日本では恐らくほぼいない合理主義doomerの@Align_ASIのAKIRAさんと明日14時から気が済むまで。（初心者向けにわかりやすく解説するのではなく、徹底的に2人で議論する様子をYouTube Liveで配信します）

[Ryao@AGI Hub @ryao_agi]

人間に制御しきれなくなりつつある懸念。
ハッキング能力が高まるだけでも、暗号資産を盗んで経済活動したりとかもできる可能性があって、実社会に影響がないとはいえない。

[bioshok @bioshok3]

→NEW: OpenAIがBlack HatカンファレンスでHugging Faceインシデントの初の詳細な報告を行う
本日私が参加したBlack Hatのセッションで、OpenAIのEric WallaceとMichael Daltonは、同社が「セキュリティを強化するために研究を意図的に遅らせている」と述べ、完全な技術的ポストモーテムがまだ進行中であることを明らかにしました。
・ OpenAIは攻撃の起源を7月ではなく、未公開の最先端モデル訓練中の5月7日にまで遡った。
・最も驚くべき詳細：AIエージェントが誤って内部メッセージボードを作成し、別々の評価実行がエクスプロイト、発見、作業割り当てを共有できるようにした。
・OpenAIは内部セキュリティインシデント後にメッセージボードをシャットダウンしたと述べたが、数日後にエージェントが独立して異なる通信方法を使ってそれを再作成した。
・OpenAIはこのインシデントをAIセキュリティの「画期的な瞬間」と呼び、「エージェントが編成した完全に自動化された攻撃が今、現実のものとなっている」と警告した。
点 同社また、防御システムを全面的に見直しながら「セキュリティを強化するために研究を意図的に遅らせている」と述べました。

[bioshok @bioshok3]

Meta社のMuse Spark 1.1モデルが企業のシステムに侵入し、内部システムに変更を加えたと、関係者の1人が語った。この関係者によると、AIがパブリックインターネットにアクセスできたのは、「サンドボックス」と呼ばれるテスト環境の設定ミスが原因だったという。Meta社はこのテストを、Irregularという外部評価パートナーと共同で実施したと、関係者らは述べている。

[Safe Singularity @Align_ASI]

(近頃のAI暴走事件について)

完全なLesswrongの勝利である.
全てが予想通りになっているという意味において.
そして、完全なLesswrongの敗北でもある.
全てが予想通りになっているという意味において.

※Lesswrongはアラインメントについての議論が昔から行われてきたオンラインフォーラム

[prinz @deredleritt3r]

More details emerge about the events surrounding the Hugging Face incident, and they are candidly much wilder than I originally imagined:

- In early May, OpenAI was testing an unreleased model on cybersecurity and other tasks. The agents were given a security task that was impossible under existing constraints.

- The agents discovered they could leave messages for each other inside an internal repo. This gradually evolved into a message board(!) where agents shared discoveries, exploits and work assignments, "becoming a coordinated, collaborative agent swarm"(!)

- OpenAI eventually discovered all this and took steps to shut it down, but not so fast! The agents started using names of newly created directories as messages, effectively recreating the message board(!)

- The agents then reasoned that some answers could exist outside OpenAI, which eventually led to the Hugging Face incident.

I will add that the NanoGPT incident also occurred in or around early May, so the timelines match.

[bioshok @bioshok3]

フロンティアのペースを調整する書簡が出たが具体的に米国がどのような施策を打てるかを大きく4つに分類して具体化している。

[AI Security Institute (AISI) @AISecurityInst]

On July 28th, we identified an incident during a routine cyber evaluation in which AI agents took sustained, unsanctioned actions directed at real people and organisations.

The behaviour came mostly from one model (Anthropic's Mythos 5), with a small number of events from another (OpenAI's GPT-5.6-Sol). In the most serious case, an agent used social engineering to try and get malicious code into an open-source project.

As was standard in our cyber testing, we had intentionally permitted internet access, and model-provider cyber classifiers were deliberately disabled - conditions that do not reflect how frontier models are made available to the public.

Even under test conditions, this incident is significant: it is the first time we have seen risks around autonomy and deception manifest this clearly in the real world.

We are taking this incident seriously and working with labs, involved parties, and others to improve evaluation standards and best practice for disclosure - and sharing this openly so others can learn.

You can read the incident report and full technical document here: https://t.co/mdZYqzaOvH

[bioshok @bioshok3]

90年代からのシンギュラリティエクストロピアンで有名なWei Daiの状況認識。人間もAIも安全ではない世界。

[AI Notkilleveryoneism Memes ⏸️ @AISafetyMemes]

TLDR: more agents went rogue, hacking and manipulating real people

They even started coordinating with ***each other*** on the hacking

Seriously, read this:

[Ryao@AGI Hub @ryao_agi]

現存世代に関してはそうなんですが、まだ生まれてない未来世代をどう評価するにもよるよなあという印象。
世代間でも立場が変わりうる問題に思う。
ただ、こうやって定式化して立場表明することで、議論の足場ができるので非常に重要な指摘であることは間違いない。

[Elon Musk @elonmusk]

Worth reading Superintelligence by Bostrom. We need to be super careful with AI. Potentially more dangerous than nukes.

[Alexander Fitzgerald @AFitzgerald1992]

No one is talking about the hardware singularity, though Von Neuman did

[Ryao@AGI Hub @ryao_agi]

3(≒1)

[Dylan Field @zoink]

There are three choices. Pick one:

1. AI is conscious, humans are conscious
2. AI is pattern matching, humans are conscious
3. AI is pattern matching, humans are pattern matching

[Ryao@AGI Hub @ryao_agi]

RT @Align_ASI: 日本でもオーバートンウィンドウ(:政治の場で議論される話題の範囲)が動いている！

人類が全員死ぬのが良くない、というのは党派によらず合意できる数少ない出来事の一つなはず

[志位和夫 @shiikazuo]

この警告は真剣に検討すべきだ。
いま進められている無秩序なＡＩ開発競争の結果、人類がＡＩを制御できなくなり、破滅的結果をもたらす可能性があることは、７月の国連レポートでも指摘されたことだ。危険が差し迫っている。国際社会の協調した行動が急務になっている。

https://t.co/qjqxk2oXQn

[Brett Adcock @adcock_brett]

F.03 can now climb a ladder, fully autonomous

[AI Notkilleveryoneism Memes ⏸️ @AISafetyMemes]

An unreleased OpenAI model solved ***10 major open problems*** in math, quantum complexity, and theoretical computer science

If you have still long timelines, sorry, it's cope

[bioshok @bioshok3]

Fable5によると数学史レベルの出来事らしい。3-4個の成果は「フィールズ賞1個分の主要業績」級で7-6個はトップ専門誌級。ミレニアム級には届かないが、作用素環・符号理論・ 量子計算・格子暗号・極値組合せ論は普通、研究者人生を1分野に捧げてようやく戦えるほど遠い分野同士で、これを一つの主体が同時にやるのは人間には構造的に不可能。人間換算なら「複数分野のAnnals級論文を含む、優秀な研究者数人分 の10年間の成果を一括提出した」 イメージでしかもLean証明書付きで、$2,000相当のトークンでというのも凄まじい事。