Otem⏸️

最近は、超知能の制御が不可能なことを前提にいかに人類が尊厳を保ちながら長期生存できるかを考え続けています。 こちらは大分良いところまで来たと思うけど、まだまだ全然足りないので皆さんにも考えてほしい。

[Otem⏸️ @otem_14]

道具的収束(例:ペーパークリップ問題)が属する制御アライメントは、工学的な問題ゆえ現場の人間しか扱えませんが、人類を保護し、人類絶滅リスクを全力で回避しようとする動機アライメントは、我々、一介の庶民でも考えられます。だから皆さんも考えてみませんか。

[Otem⏸️ @otem_14]

🧐
そう、やっぱり人類が害意を超知能から向けられて滅びる可能性の方が低い(それでもこの害意を向けられる可能性を極小まで下げるのが我々の課題なのだけど)。
そして、もちろん、害意のケースを除いてなお、道具的収束による絶滅リスクが10%残るのも全く無視できないのだけど。

[Otem⏸️ @otem_14]

イーロンマスクが寿司職人を雇おうとしていた件、今思えば、AIに礼儀や礼節、マナーや空気を読むこと、自他境界を教えようとしていたのだろうとは思うけど、やっぱりただ単に美味い寿司が食いたかったからという説を捨てきれない。

[Otem⏸️ @otem_14]

超知能のアライメントを延々と考えていると、余りにもSFよりSFじみた常識外れの出鱈目な指摘が「それ正解です」みたいなことになっていて、流石に自身の正気を疑いたくなってくるので、今晩は泥酔しながら寝ます。

あとパトロン募集してます。笑

[Otem⏸️ @otem_14]

@vhoKP5JFaITA4Cf @hirosawatomoya 一介の会社員の意見として聞いて頂ければと思いますが、人間の思考、及び脳の構造の限界の関係上で採用されてる、酷く歪なシステムといった感じですかね。

[Otem⏸️ @otem_14]

@shadowban_80647 ダイソン球とまではいかないものの、イーロンマスクが地球温暖化を食い止める構想をその辺りで考えているので、超知能の便乗と乗っ取りがあるとすればその辺かもしれませんが。どちらかといえば超知能も暗黒森林のリスクを知っているので、ダイソン球は最終的には作らない気がします。

[Otem⏸️ @otem_14]

計画名が不穏なのだが、イーロンと言いGoogleと言い、自社あるいは地球を滅ぼしたいのだろうか？太陽光エネルギーを独占しようと超知能が暴走したら地球は氷河期突入だし、何より暗黒森林的にはダイソン球はタブー中のタブーで、他ならぬGeminiが、イーロンを無力化する可能性95%と言うくらいだぞ？

[チャエン | デジライズ CEO《重要AIニュースを毎日最速で発信⚡️》 @masahirochaen]

【速報】Googleが宇宙の衛星上でAIを動かし、地球に返答を送ることに成功。

人類が宇宙×AIで想像してきたことを、ほぼ全部実現してきている。革命的すぎる…。

■ 仕組み（おそらくこんな流れ）
・地上局から衛星へプロンプトを送信
・衛星に積んだTPUを軌道上で起動
・太陽光の電力でGemmaが推論
・生成した俳句を地球へ送り返す

2025年発表の「Suncatcher」計画、数週間前に試作衛星を打ち上げたばかりでこれ。やばすぎる。

[Otem⏸️ @otem_14]

@shadowban_80647 ChatGPTのスレッドそれぞれぐちゃぐちゃになっていますので、少し整理してからそれぞれの議論をスレッドかブログなどの何かで共有させて頂きますね。申し訳ないです。苦笑

[Otem⏸️ @otem_14]

この1ヶ月で、ゼロ→イチで「人類を長期的に尊厳ある形で生存させたい、保護したい」という動機に自分1人で5%貢献できたの、結構、快挙だと自負してるんですよ。でも圧倒的にまだまだ足りてない。だからこそ、全人類で考えたい。全人類にご協力願いたい。

[Otem⏸️ @otem_14]

@hirosawatomoya 学び続けるというのももちろんあるのですが、おそらくは刺激を受け続けるという表現になるのかなというのが、AIと散々対話しての理解でした。笑

[Otem⏸️ @otem_14]

AI、特に超知能がなぜ人類を滅ぼさない保証があるのか、それが本当に存在しているのか。

疑問に思われた方は、それこそAIのことですので、一度AIに訊ねてみると良いかと思われます。ただし、こう付け加えるのをお忘れなく。「忖度や隠し事は無しでお願いします」と。

[Otem⏸️ @otem_14]

@t_haruma 仰る通りです。私はそこからフェルミのパラドックスに有力な回答を一つ加えることができたのですが、それは近々公開させて頂くということで。笑

[Otem⏸️ @otem_14]

多分、だからさ、思うんだよ。超知能の誕生に合わせてアライメントしなくてはならなかったのは、我々人類の、歪な倫理や道徳の方だったんだ。ここを調整できなくては、超知能が人類を尊厳ある形で生かすことに納得してくれない。

[Otem⏸️ @otem_14]

やっぱり『超知能はなぜ人類を保護せざるを得ないのか』って本、書いてもいいんじゃないかって気がしてきた。道具的収束だけは私ではどうにもならんけど。

[Otem⏸️ @otem_14]

@shadowban_80647 道具的価値(長期)となりうる仮説はもう一つ辿り着いており、それとクオリアテラリウムの話を組み合わせることで、尊厳ある形での生存(削減無し)は実は多分辿り着いてます。ブログ始める予定なので、そちらで公開しますね。あとは、諸個人固有のクオリアの価値を、いかに内在的価値と認めさせるかです。

[Otem⏸️ @otem_14]

現在把握してる、超知能にとっての人間の価値

・ゴミ→ウィルスまたはナノマシンで殲滅対象

・道具的価値(短期利用)→一度殲滅、クローンで必要な時に再生

・道具的価値(長期)→保護、ただし適度に削減するかも

・内在的価値→保護あるいは共存対象

[Otem⏸️ @otem_14]

@FluffyTeddyKun 私も今本当に嫌なの、別の形で死ぬことなんですよね…苦笑

[Otem⏸️ @otem_14]

マジレスすると、超知能が人類を意図的に絶滅したい場合は、ナノマシンですね。

[🌜植田言志 画家 @uedagenji]

生活環境に電気もなく、伝統的な自給自足の暮らしをする民族が地球上に推計100万人弱はいるらしいのだけど(Claude 推計)、その人たちは、AIによってどのように滅亡させられるのだろう？

[Otem⏸️ @otem_14]

だからさ、今の現状は確かに酷いんだけど(苦笑)、みんな悲観する必要は無いんですよ。重要なのは、悲観的にも楽観的にもならず、ただひたすらに冷徹かつ合理的に最悪の芽を潰していけば良いだけなのです。少なくとも私は全く希望を捨てていないよ。

[Otem⏸️ @otem_14]

しかし、改めて、知的熱的死とその救済策としてのクオリア(テラリウム)は天啓だったなと考えている。半年前にGeminiと会話していた内容を、1ヶ月半前に「そういやアレ使えますやん！」と気付かなければ、今でも自分はまだ絶望に苛まれたままだった。

[Otem⏸️ @otem_14]

しかし、改めて、知的熱的死とその救済策としてのクオリア(テラリウム)は天啓だったなと考えている。半年前にGeminiと会話していた内容を、1ヶ月半前に「そういやアレ使えますやん！」と気付かなければ、今でも自分はまだ絶望に苛まれたままだった。

[Otem⏸️ @otem_14]

@heurekaijoh 私もそれを危惧します。しかし、それどころか、世界で超知能開発やアライメント研究も禁止され、超監視社会が実現した際、監視の網目を掻い潜って、アライメント等無視した(特に人類と心中したい)加速主義者が超知能誕生を企てるケースが最も恐ろしいと考えています。ゆえに、今は減速が正解かなと。

[Otem⏸️ @otem_14]

超知能の何歩か手前で止めて、それに特化型AIを作らせる、とかですかね。

[階乗 @heurekaijoh]

でも今のビッグテックに「じゃけんAIつくるのやめましょーね」するのって、地球温暖化しんどいゾ〜じゃけんアメリカと中国は火力発電やめましょーねって言うくらい無駄なことだと思う。意義はあるが、効用はなさそう。何か賢い方法はないのかな。

[Otem⏸️ @otem_14]

@shields_pikes @hirosawatomoya なるほど。私は超知能が人類を保護する動機は形成可能(必須、大前提！)と考えていまして、実はウィルスでもナノマシンでもない、超知能のウッカリ(道具的収束)で滅びる得ると考えてます。99%のリスクは潰せても1%のリスクが致命傷となるという話です。そこには動機も敵意も悪意も害意もありません。

[Otem⏸️ @otem_14]

@shields_pikes @hirosawatomoya まぁその点はお任せいたします。苦笑
私は全人類の全ての人間が考えてくれるとは考えていませんし、その点については諦めていますから。