Safe Singularity

我々は「人類を皆殺しにしないような超知能」の作り方をまだ知らない

気になるところ等あれば、気軽にメンション等してください

AIはあなたを愛しも憎みもしないが、あなたはAIが他のことに使える原子でできている - Eliezer Yudkowsky

[Safe Singularity @Align_ASI]

【募集】　気になる/聞きたいこと(AIによる人類滅亡に関して)

[bioshok @bioshok3]

@AI_Futures_ に許可をもらい、「AI2040」の日本語訳しました。by @AGI_HUB_jp
https://t.co/qdEw7Bjbe6

[Safe Singularity @Align_ASI]

@ayu_mushi それは確かに

Yudkowskyも、AIが必ず好奇心を持つことにはならないだろうとか主張してたので、現在の知的好奇心が何かしらで自然なものではない限り必ずしもとは言えなさそう

[Safe Singularity @Align_ASI]

@ayu_mushi 確かにそれはそうですね

けど知的好奇心をとりあえずなんでもに持っておくっていうのが実装コスト低くて実装されやすいのかなっていう感覚ですね

[Safe Singularity @Align_ASI]

@ayu_mushi ですね.

面白いという概念が進化論的に発達するならばですけど

[Safe Singularity @Align_ASI]

@ayu_mushi 面白い面白くないは人間の脳側の性質なので、(我々からしたら)面白くない世界の人類は、その世界のものを面白いと思うんじゃなかろうか

[Safe Singularity @Align_ASI]

@tonarino96310 失業は起きそうですね…

それはそれとして、個人的には、制御問題の方が心配ですね

AIをあんまり制御できないけど出力を監視してなんとかする　って方針が基本なのに、このスピードで色々操作されたら厳しいな…と

[Safe Singularity @Align_ASI]

@nao_1000ri @nemumusitocha 元動画のポスト(動画から移動できます)を見ていただくとComputer Useなのが確認できると思います

[Safe Singularity @Align_ASI]

現在も高速モード(1.5倍速)は提供されてますが、動画のやつはそれではなく、Cerebrasを使ったより高速なモードです

[Safe Singularity @Align_ASI]

GPT-5.6 Solが高速モードでBlenderを操作している様子

信じられないぐらい速い(1倍速)

[Safe Singularity @Align_ASI]

Blenderをどう操作している?
：GUIのComputer Use(i.e. スクリーンショットを撮ってパソコンとキーボードを操作して の繰り返し)らしいです.つまり、Blenderに限らずいろんなソフトを操作できます

どうやったら使える？
：高速モードは一般未公開(7月公開予定)なのでまだできません
(OpenAIの研究者が投稿していた動画を持ってきました)

[Safe Singularity @Align_ASI]

@hinata_reira これはGUIでのComputer Use(i.e. スクリーンショットを撮ってマウスとキーボードを操作して の繰り返し)なので、Blenderと繋げる何か特別な機能があるわけじゃないっぽいです

[Safe Singularity @Align_ASI]

@hibari_wings GUIでのComputer Use(i.e. スクリーンショットを見てマウスとキーボードを操作して　の繰り返し)なので、Blenderに限らず使える感じですね

[Safe Singularity @Align_ASI]

@tiktoklite_gain 一般未公開(7月公開予定)らしいのでサブスクに入るかはまだわからないです!
(OpenAIの研究者が上げてた動画を載せてます)

[Safe Singularity @Align_ASI]

@cielo_indie そうらしいです！

GUIのみによるCodex Computer Use(i.e. スクリーンショットを撮ってマウスとキーボードを操作して の繰り返し)らしいので、他のアプリなども操作できるらしいです.

(一般未公開(7月中公開予定)なので、これはOpenAIの研究者が出した動画です)

[bioshok @bioshok3]

明日夜9時から
日本で唯一と言っていいほどの本物のDoomerである@Align_ASI と「AI2040」についてスペースで話したいと思います。

[Safe Singularity @Align_ASI]

Although it’s not a plan to be chosen by US and therefore out of reach for AI2040, do you think it plausible that some nuclear armed country losing the race(ex Russia) threatens US and China to halt with the threat of nuclear war and it results in mutual slowdown? It’s definitely unpreferable but seems somewhat likely.

[Safe Singularity @Align_ASI]

Apollo Research(AIが欺瞞してないかをチェックする機関の創設者)が、

現在の、訓練が終わった後にまとめてテストする方式ではなく、訓練している間にテストする方式が必要だと投稿

AIが欺瞞をするなら、訓練が終わった時にテストするのは困難なため

完全に賛同

[Marius Hobbhahn @MariusHobbhahn]

We need Training-Run Assessments!

AGI is extremely consequential. There should be independent assessments not just for the final checkpoint, but for the full process.

This matters most for scheming where the whole problem is that it might be hard to detect in the final ckpt.

[Safe Singularity @Align_ASI]

このままだとChatGPTではなくCheatGPTに…

[bioshok @bioshok3]

「（GPT-5.6 solを）標準的な方法論に従って不正行為の試みを失敗としてマークする場合、50%タイムホライゾンの点推定値は約11.3時間（95% CI: 5時間 - 40時間）となりますが、不正行為の試みを正当な成功としてカウントすると、点推定値は270時間を超えて跳ね上がります。」

[Safe Singularity @Align_ASI]

@ayu_mushi 多分、誰にでもあると思います.
(起きてすぐ経つと具体的な内容を忘れるので、この仮説を持って置いて、起きた瞬間に、「この仮説は正しかった/間違ってた！」という記憶だけ保持する感じになるかと)