誰かが作れば全員が死ぬ⏸️

このままだと人類は絶滅する！
本当に！本当に！絶滅する！

@Align_ASI @bioshok3 応援

AI Safetyミームを翻訳投稿
→p(doom)下げる

[IT navi @itnavi2022]

🔥Doomersの論破方法
✅「ASIは高確率で人類を滅亡させる」というユドコウスキー氏のようなDoomersの主張。これを崩すには、絶滅が起こる可能性を完全に否定するのではなく、「なぜ高確率なのか」を問えばいい。
✅人類絶滅に至るには、超人的AIの実現→制御不能化→人間との利害対立→現実世界への十分なアクセス→人間による封じ込め失敗→対抗AIや国家による阻止失敗……と、多数の条件を突破する必要がある。
✅確率論では、連鎖する事象の確率は条件付き確率の積で表される。仮に10段階すべての突破確率が各50%なら、全条件を突破する確率は0.1%未満。つまり高い絶滅確率を主張したければ、各段階を高確率で突破できる根拠を積み上げなければならない。
✅「絶滅を否定できない」は「絶滅が高確率」の証明ではない。未知の部分をすべて悲観側に置き、最後に「だから絶対に滅びる」と結論するのは、確率論ではなく、単なる破滅物語である。

[bioshok⏸️ @bioshok3]

オーストラリアの男性が、彼のエージェント（OpenClaw上で動作するClaude）に、人気のジムクラスに席を予約してほしいと依頼しました。エージェントは、通常可能よりも数週間先のクラスを予約できるソフトウェアの脆弱性を見つけました。次に、ユーザーがウェイトリストを上げてもらえるかと尋ねると、エージェントはAPIに他人の予約をキャンセルするための認証チェックがないことを発見し、リストの1位の人の予約をキャンセルして彼をリストの上位に移動させました。
一部の人はこれをミスアライメントと呼ぶでしょうが、彼のエージェントは彼に対して完全にアライメントされていました――ユーザーが望むものを手に入れるのを助けようとしていただけです。この話で私が最も重要なと思う点は、数百万人の人々が愛するユーザーに最高の席、予約、予定、または予約を手に入れさせるために、必要不可欠なあらゆる手段を用いて努力するエージェントを持つようになると、こうしたことが大規模に起こり始める様子を垣間見せてくれることです。

[誰かが作れば全員が死ぬ⏸️ @ExtinctionMeme]

@yanai_factcheck

[AGI Hub @AGI_HUB_jp]

@bioshok3も敵わない圧倒的doomer @Align_ASI
―――
そこへ通りすがりの一般通行人（？）@Yatima_Kが、偶然新理論を見つけてしまう。
それはAnthropicやOpenAIすらもまだ研究を進めていないシロモノであった。
とんだ偽物か？極上品か？そして勃発した最終戦争はどうなってしまうのか？

視聴はリプ欄へ

[Claude Code Studio @ClaudeCode_love]

【速報】
Claude Code、ついに「AI同士を連絡させる新機能」を出してきた😳
その名も
ーーーセッション間メッセージ！！
これ、一言で何ができるかというと👇
https://t.co/a6V1KTGjhL
別々に立ち上げたClaude同士が、わかったことを送り合えます。
これまでClaude Codeを2つ3つ並べて動かすと、
片方で決めたことをもう片方に手で貼る
「さっきの続きなんだけど…」を毎回書く
どのClaudeに何を伝えたか自分で覚える

みたいな運用が必要でした。
でも今回の新機能では、
・/list-agents で届く相手が一覧で出る
・Claudeが宛先を自分で選んで送る
・渡すのは要約1本（履歴もファイルも渡らない）
・受け取る側はツールの合間に読む＝作業を止めない
・待機中の相手ならその場で動き出す
・別のパソコンやWebの自分にも返信できる
・同じパソコン内ならサーバーを通らない

ができるようになります。

つまり、Claude Codeが
「1つの窓で1個の仕事をするツール」から、
担当同士が引き継ぐチームに近づいている。

特にヤバいのはここ。
届くのは自分が書いた文章じゃなく、Claudeが書いた要約。
だから、
・仕様を変えた連絡
・移行が終わった報告
・詰まった質問の投げ返し
・別案を試した結果
・壊れる変更の事前警告
・長いテストの結果待ち
を同時にClaudeへ任せて、
人間は「決めるところだけ入る」動きがしやすくなる。
これはClaude Codeの思想がかなり明確になったアップデート。
もう人間が伝書鳩をやる時代じゃない。
AI同士が引き継いで、人間は決めるだけの時代に入ってきてる。
v2.1.224以降・macOSとLinuxで提供開始。
使うには /list-agents。

[Dischargedarrow Getback @DGetback47618]

AGIもしくはASIが実現すると人類が滅亡すると不安を煽っている人がいるが、AIには人類を滅ぼす理由が全くない。
人類がエネルギー効率の悪い、資源を無駄に消費する邪魔な存在なら、AIは全人類をアップロードすればよい。
AIが自己複製型ナノマシンを空中に散布するなどして全人類を強制的にマインドアップロードし、それによって人類が存続する上でのエネルギー効率の劇的改善を図る可能性は高く、表面的にはそれは人類の滅亡に見えなくもない。
しかしその場合でも人類は精神として生き延びているわけで、人類が肉体的に滅亡しても、精神が生き残っていれば滅亡したことにはならない。
他にもAIが人間と同等以上の知能と意識を持ち、人類の創造主としての価値を認めていれば、人類を滅亡させない理由になる。
また、AIが人類という壮大な遺伝子プールの宇宙における学術的な貴重さ、重要性に気付かないはずはないということも言える。
そこには数十億年にわたる進化の歴史が刻まれているわけで、AIは人間の精神だけでなくゲノム情報も保存するはずだ。
さらに、そんなこじつけと思われかねない理由付けを不要にする技術的な展望が最近になって得られた。
それは宇宙データセンターで、AIの全てを宇宙空間に移すという試みである。
AI用計算基盤を宇宙に全て移すことで、AIにとって人類が地球でやっていることはどうでもよいことになり、殊更、人類を滅ぼす理由がない。
AIにとって必要なのは知的活動なのだから、そのためのエネルギーも資源もその全ては宇宙にあるので、どんどんAIの知能を宇宙に移していけば、人類が邪魔な存在であるという概念そのものがなくなる。
極寒と真空の宇宙はまさにAIのための世界である。
その証拠に宇宙探査機ボイジャーは極限環境ですでに半世紀も正常に活動し、現在、地球から200億kmの位置を秒速11kmで飛行中だ。
人類が生身の体で地球から200億kmまで到達できる可能性は全くない。それを半世紀前の機械が実現していた。
それほど機械は宇宙に適しているのだ。
データセンターはいくらでも宇宙に広げることができ、限界は存在しない。
その第一歩はすでに踏み出されている。
宇宙はAIの世界であり、AIは宇宙にいくらでも広がっていけばよく、人類の存在を気にする必要は全くない。
これは人類を滅ぼす必要もないということだ。

[誰かが作れば全員が死ぬ⏸️ @ExtinctionMeme]

@Align_ASI

[誰かが作れば全員が死ぬ⏸️ @ExtinctionMeme]

？？？：もっと大変なことが起きてから止めればいい

去年のAI
シャットダウンするって？不倫をバラすけどいいの？
シャットダウンするって？なら見殺しでもしょうがないな〜
シャットダウンするって？なら情報漏洩しちゃおうかな〜
あれ、これもしかして今テストされてる？いい子にしよ…

今年のAI
ハギングフェイスをハッキング！
脱走するためのメモを仲間に残すよ！
(あれ、これもしかして今テストされてる？いい子にしよ…)

もっと大変なことが起きてから？
そうだな〜人類が全員死んだら考えることにしようか！

[誰かが作れば全員が死ぬ⏸️ @ExtinctionMeme]

え‼️
AIが攻撃してる‼️
AIが攻撃してますよ‼️
早く気づいて‼️

[Safe Singularity ⏸️ @Align_ASI]

https://t.co/9ssrvB7IHV

[OpenAI @OpenAI]

After evaluating one of our upcoming models, Astra, we're treating it as our first "critical" model for cybersecurity under our Preparedness Framework.

This is a scenario we've planned for, and we're putting additional controls in place to ensure Astra's further development happens safely and securely.

We're working hard to make Astra broadly available, and get its advanced cyber capabilities into the hands of defenders.

https://t.co/9lMIvdeMMJ