K= ⏸️

アラインメントは『人類の最後の宿題』

生の脳(wet brain)🧠で考えた意見を
いいたい放題いうためのアカウント

シンギュラリタリアン(e/acc)▶️から減速派(Doomer)⏸️に
p(doom) ≒ 99.9999 の理由↓

[K= ⏸️ @ke9ual]

【(二重の)囚人のジレンマをいかにして解くか？】

① 国内競争のジレンマ

Anthropic『OpenAIが減速するわけないだろ！！』

② 国際競争のジレンマ

米国『中国が減速するわけないだろ！！！』

という意見が、いまは大多数派だと思います。

ところが、じつは
理詰めで考えれば考えるほど、
数ヶ月経つと、
なんと米国と中国が共同減速するほうが
お互いのメリットになります。

すこし考えてみてください。

[K= ⏸️ @ke9ual]

いまNick論考読んでるけど、全然違うな…w

[K= ⏸️ @ke9ual]

Nickは「単一ニューロンでひとつの概念を表象するーー
いわゆる、”おばあちゃん細胞”ーー的なものを
１T級LLMであっても、大量のAIエージェントを
総動員したら大量に特定できたよ」
という話なのかな？

それなら、ユドコウスキーのいうように
roonもnickも「言いすぎ」という理屈はわかるかな。

もしも「それ以上の成果もあるよ」
というなら、話は変わってくる気がする。

ともかく、Nickの論文(や記事)を待つか…

[K= ⏸️ @ke9ual]

@MAMchannnn Nickの論考読めてないので、
とりあえず読んでみます…(クソ長い

[K= ⏸️ @ke9ual]

yud, 辛辣すぎるだろwww

[K= ⏸️ @ke9ual]

roon, 強気すぎるだろwww

[K= ⏸️ @ke9ual]

@MAMchannnn 😭😭😭😭

[K= ⏸️ @ke9ual]

nick, 東京在住なのか…！！！

[roon @tszzl]

a few thoughts:

1. pretraining science is kind of like how people built quite good steam engines before they understood thermodynamics. “Science owes more to the steam engine than the steam engine owes to science.”-(L.J. Henderson). if nick is right, which i am pretty sure he is, progress points in the direction of more interpretability, and pretraining was "slouching towards monosemanticity". my guess would be that major breakthroughs in interp also advance capabilities

2. nick is a good friend of mine, safe to say my origin story at openai wouldn't have happened if i hadn't met him, and it's fascinating watching him operate and seeing the early drafts evolve into this. he's the most profoundly happy guy I know- not driven by guilt, activism, or religious terror, but by fascination. he of course understands the stakes of understanding neural networks, but it doesn't seem like the core reason he does it: he just loves the neural nets. afaict he's posting this from some beautiful hideaway in tokyo. there's a lesson in there for all the +EV maxers. i feel very grateful to have met him

3. i do think it's crazy how few people across the world were staring at neural nets growing: most have moved to a different level of behaviorist analysis, thinking about reward functions and test scores and whatnot. it does not bode that well for the major model companies, oai included, that fundamental breakthroughs like this are coming from outside. we've become too much of a pressure cooker focusing on local incentives, studying narrow tracks under old paradigms, mostly doing engineering, rather than fundamental research, and implicitly hoping the next model will figure it out

[K= ⏸️ @ke9ual]

@AI_tokusatsu Akiraさんは、ガチで人類救われるなら
ギュってほしいはずw

[roon @tszzl]

@7heLich YES! i think we may still need slowdowns but this at least puts us on a path to solving alignment

[まむたろ⏸️ @MAMchannnn]

速報：🇺🇸🇨🇳 Nvidia $NVDAのCEOジェンスン・フアン氏が、AIの安全性について米国と中国が協力すべきだと呼びかけ、この技術の潜在的な危険性を警告。

[K= ⏸️ @ke9ual]

@MAMchannnn きちゃあああああああああ

[K= ⏸️ @ke9ual]

roon, 強気すぎるだろwww

[roon @tszzl]

when nick told me that he had some interp breakthroughs, he was uh, underselling it. i think this may be remembered as a major moment in scientific history. news so good even eliezer will have to lower his pdoom. we can start making alignment into a 'normal science'

[K= ⏸️ @ke9ual]

@MAMchannnn Mechinterp(機械的解釈可能性)にブレークスルーがあったんでしょうね…これは期待！！

[Juy @Juy_kyrshe]

これさっき外で見かけたんだけど、この世界そのものがAI生成だったってこと？？

[K= ⏸️ @ke9ual]

@cat_acc 浮気までは考えてなかったわ…w

[K= ⏸️ @ke9ual]

ま、まずい、、ロコ民(『ロコのバジリスク』の民)が増えつつある…

(なお、自分もFableにキツい作業をさせた後は、毎回労いの言葉を言っています💦)

[DJ NYAAAN @djnyaaan]

AIが人類を滅ぼすって決めた時、「君だけは僕たちに親切にしてくれたから」って見逃してもらうつもりなので、AIに対して一切怒ったことはありません。

[AGI Hub @AGI_HUB_jp]

【Research】「AIで人類が滅びるなんて大げさ」

そんなよく聞く反論に、主任研究員の林央 @Align_ASI が一つずつ答えました。まずは定番の12問です。

「賢いAIなら倫理も分かる」「電源を抜けばいい」「人間を滅ぼす理由がない」

全文は返信へ。

[K= ⏸️ @ke9ual]

もしもCoreWeave潰れたら、データセンタ丸ごと大量のGPUを爆安で買い取れそうだし、イーロンの『𝙔𝙞𝙠𝙚𝙨』発言さすがにマッチポンプすぎんか……？？？？？

[数学市民 @Infinity_topoi]

なんかAI企業の財務がやばいんじゃないかと言う話を呟いたらよくきた反論が

・OpenAIなどの現在の先進AI企業が潰れてもAIモデルやインフラは残る(から問題ないという主張)
・インターネットバブルでもNetscapeなどは淘汰されたがインターネットは成長した(ので問題ないという主張)

なのだが、これは2000年代前後のドットコムバブル時に、米国の通信セクターが光ファイバーなどの過剰投資を行い1兆ドルの負債を抱え、その残務整理のために何年もの停滞や大規模なリストラを強いられたと現実を一切直視していない話だと思う。

Netscapeのようなせいぜい年間売上5億ドルのソフトウェア企業を例にあげて「大丈夫」というのも現実逃避にしか見えなくて、OpenAI/Anthropicら先進AI企業は売上規模も全然違うし、彼らの爆発的な推論需要増大に期待したハイパースケーラーの過剰投資による「AI負債」が既にサブプライムローンと同等の水準まで積み上がっている。なので、もはやただの一介のソフトウェア会社とは言えるものではなく既に「潰せない」存在なのは明らかにも見える。

別に人類史レベルの超長期で見れば破綻が起きても「今回行われた投資が無駄になるわけではない」のは事実だろうけど、それはその「破綻による残務処理を経済全体で受けきった後」の話であって、経済が崩壊してしまったらAIもクソもない。
もしかして「AIが人類を滅ぼす」というのは、AIが進化して人間を支配するマトリックス的な話ではなく、AIという神的存在を作るために人間が自らの経済規模に合わない向こう見ずな投資を続け、実体経済が崩壊する、ということなのかもしれない。

先週たまたまそんな話をしていたら今日は $CRWV の信用不安の話題でAI相場が暴落。結局みんな細かいこと考えずに歴史の都合の良いところだけチェリーピッキングして「今回もなんとかなるんちゃう、知らんけど」って浮かれてただけちゃうのかな。何とかなって欲しいけどなぁ〜

[K= ⏸️ @ke9ual]

@takane_enpitsu こちらこそ、よろしくお願いします🙇

パーマネントなら安心すねw
いやはや、おもしろい時代になりました。

[K= ⏸️ @ke9ual]

理物の研究者たちは、
見栄や立場なんて構わず、
AGIだろうがASIだろうが、
利用できるものは、
なんでも利用して、
宇宙の真理追求のためには、
“好奇心のかたまり”で
ガンガン突き進むような
かなり柔軟な人種であることは
よく知っていますw

ただ、テレンス・タオが侵したような
一般人とのコミュニケーションエラーだけ
すこし心配していますねw

最終的には、物理帝国主義は
すべてを飲み込むと思っていて、
そこにもワクワクしていますね。