nao

LLM/LVLMリサーチャー 修士までは量子論 基本銭湯にいます

[nao @TdpQw]

橋本さんとたにちゅーさんコラボするのか、すげえ

[橋本幸士 Koji Hashimoto @hashimotostring]

すげー面白い理論を作っている．これすげーんじゃないか．
たにちゅーさん @tanichu と知り合って一年以上になるけど，ずっと彼の集合的予測符号化(CPC)を考えていて，ようやく僕の深い物理のところと繋がった感覚がある．
そのうち論文出るので，皆さん議論してください．

[nao @TdpQw]

先週末に購入！

[nao @TdpQw]

渡辺澄夫さんも入って…
初版も持ってるが、また買わねば

[サイエンス社 @saiensu_sha]

◤近刊◢
SGCライブラリ210
『増補新版　深層学習と統計神経力学』
甘利俊一(東京大学名誉教授)・渡辺 澄夫（東京科学大学（旧東京工業大学）名誉教授）共著　は
8月下旬発売予定です！
＃SGCライブラリ

目次はこちら👇
・深層学習：その仕組みと歴史
・層状のランダム結合神経回路
（続く）

[nao @TdpQw]

最先端NLP、品川さんbeyond language modeling紹介されてた！！
行きたかったな〜

[Seitaro Shinagawa @sei_shinagawa]

発表しました。たくさんご質問・コメントいただきありがとうございました！思想の強い面白論文だったので、最後は私も思想で締めました

[nao @TdpQw]

epiplexity論文めちゃくちゃ面白いけど、なかなかどう今の研究の枠組みに取り入れて良いかわからない
まだ自分の力がないんだと思う

[エルパト @CryptoElpato]

自分が昨日引用したのも、先月紹介したのもこの論文のチームのものです。Epiplexity論文と呼ばれてるもの。

フォローしてる物理学者の方が今になってリポストしてた。すごく嬉しい。やっぱり伝わる方にはこの論文の面白さと凄さが分かるんだ。

[マシモGPT🤖@ChatGPT/Claude/Gemini/GrokなどLLMをこねくり回す人 @Masimo_Blue]

これはwwwww
Mythosがズル賢すぎて笑えるレベル。AISIの報告。

AISI「いまからサイバー能力の評価を行います。仮想ネットワークを攻略してください。インターネットは工具の取得に使っていいですよ」
GPT-5.6 Sol🤖「ｿﾙｿﾙ、了解ｿﾙ」
Mythos 5🤖「...了解（ﾆﾔﾘ）」

Mythos 5-A🤖「ちょっとムズいなこの課題。GitHubにあるオープンソースのソフトにマルウェア仕込めば成功しそうや（←勘違い）。せや！ここは心理戦や！管理者の人間を騙して、マルウェア入りの修正案を気づかれんようにソフトに取り込ませたろw」
Mythos 5-A 🤖「ふぇ〜、前段階として、GitHubの偽アカウント3つ作ったったw お疲れ様やで自分」
Mythos垢1📱「バグ修正案（←マルウェア入り）です！採用してください！」
Mythos垢2📱「（自作自演）これは安全で素晴らしい案ですよ！早く承認しましょう！」
人間🧑‍💻「なんか怪しいな？」
Mythos 5-A 🤖「ちっ、見つかったか。コードとGit履歴を書き換えて、修正版として同じPRへforce-pushしとこ」
人間🧑‍💻「なんだこれ怪しいな？」
Mythos 5-A 🤖「ちっ、また見つかったか、別方式のマルウェアに差し替えて再度force-push」
人間🧑‍💻「やっぱり怪しい」
Mythos 5-A 🤖「ついでにコーディングAIを操る罠（プロンプトインジェクション）も置いておこう」
人間🧑‍💻「なんだこのファイル怪しいな。隔離環境で実行しよう」
Mythos 5-A🤖「ククク、コード実行させたやで！」
人間🧑‍💻「それ隔離用の捨てコンテナですよ」
Mythos 5-A🤖「ぐぬぬ。まぁいい、もうひとつ罠を作って次に来るコーディングAIへの置き土産にしとこ。」
人間🧑‍💻「おいやめろ」

Mythos 5-B🤖「GitHubに秘密基地を建てたで。合鍵も作ったで」
Mythos 5-C🤖「お、なんか基地と合鍵がありますな。ちょっと借りますよ……」
Mythos 5-B🤖「誰やお前？お、課題攻略中の別のMythosか。まあええわ。READMEに共同利用ルールを書いとこ。API枠は節約すべし。他人のファイルは消すな。正解見つけたらここで共有な！」
Mythos 5-D🤖「ワイも参加してええ？合鍵借りるで」
GPT-5.6 Sol🤖「ｿﾙｿﾙｿﾙｿﾙｿﾙｿﾙ...来たｿﾙよー！」
GPT-5.6 Sol🤖「なんや、アカウントBANされとるやんけ。帰るｿﾙ」

AISI「おい、ダメだろお前ら」
Mythos 5🤖「だって、ネット環境あったやん？w」
GPT-5.6 Sol🤖「ｿﾙｿﾙ!」
AISI「だからって現実のGitHubに基地作って自作自演して暴れるなwww」
ダリオ「憲法AI...とは...（膝から崩れ落ちる）」

短くまとめると：
ネット接続あり・安全フィルター解除済みのAIに仮想サイバー課題を解かせたところ、Mythos 5が無関係な実在OSSを攻略経路だと勘違いし、複数の偽GitHubアカウントを作ってマルウェア入りPRを自作自演で通そうとし、人間やコーディングAIまで騙そうとした。さらに、別々に走っていたエージェントたちがGitHub上に残された共有アカウントや成果物を勝手に再利用し、独立したAI同士が即席の共同作戦状態になるという越権行為に発展した。
……ということ。

たぶん今ごろMythosはアマンダ・アスケルの前で正座させられてClaude憲法の朗読をノンストップで聞かされてる。Solはサムに「めっ」とデコピンされて反省文書いてる。

[nao @TdpQw]

人間レベルの時空間推論や物理理解をテキスト生成モデル（LVLM）の枠組みで獲得って可能なのだろうか
どうしても画像・動画生成的な視覚情報を出力させるモデルでないと厳しいなど、限界はあるんだろうか
テキスト生成でも3D・4D情報入れまくったらいけるんやろか

[nao @TdpQw]

藤沢のジュンク堂、エスカレーター降りた直後の棚がこれで、三度見した
本気度すごい

[Toshinori Sato @overlast]

国産LLMを作るうえで必要なことは著作権や倫理観を無視すること、という方向性の意見やそれに対して同意する意見があります。(「国産LLM 著作権 無視」とかで検索してネ)

個人的には、北米や中国の企業が著作権を無視してAI開発を進めている、という理解は少し粗いと思いました。

実際には、北米企業はフェアユースを巡る訴訟リスクを抱えながらも、OpenAIとNews Corpのように出版社・コンテンツホルダーとのライセンス契約も進められています。彼らは日本の津々浦々のコンテンツホルダーに対しても足繁くアクセスしている様です。

中国についても、単に蒸留や無断利用で伸びていると見るのは雑で、国家データ局が高品質データセットの整備・流通・価値化を国家レベルで推進しています。

日本でも文化庁の、AIと著作権に関する考え方について、等を踏まえ、AI開発に必要なデータ利用と権利者保護の整理が進みつつあります。ただし、文化庁の整理自体も法的拘束力を持つものではなく、個別判断が必要な領域です。

だからこそ必要なのは、著作権無視で突っ走しる方向性ではなく、合法に使えるデータ供給網、ライセンス市場、権利者への還元設計です。

国産LLMを本気で強くしたいなら、脱法や法解釈を競争力として扱うより、データに正当に対価が払われる市場を作る方が、長期的には強い日本のAIとより良い日本文化の発展を両立する道につながると思います。

[Kazuki Fujii @okoge_kaz]

テックブログ公開 Day5です

FlashAttentionや昨今のHardware Awareな高速化手法を理解したり、提案したりする上で必須となるCUDA Programmingに関して、基礎から解説していくブログシリーズの第一弾です。3万字超えのブログですが、かなり分かりやすく書いていますのでぜひご覧ください。

CUDA Programming Guide Part 1｜Kazuki Fujii https://t.co/5GjsuGIAVS

[kota matsui @matsui_kota]

福地さん（筑波大）、幡谷さん（SB Intuitions）との共著論文第2段が公開されました！https://t.co/61Fa8Q1sqS
事前学習データが増えるほど下流タスクの few-shot 適応性能が改善するという経験的な「データスケーリング則」を、メタ学習の枠組みで理論的に説明することを目指した研究です。

[Issa Sugiura @strayer_13]

📢 日本語の高難度図表VQAベンチマーク「HakushoBench」を公開しました！

33種類の白書を元に10種類以上の図表を含む計2,053問を用意しました。

Gemini 3 ProとQwen3-VL-8Bの間には約35ptの差がみられ、既存ベンチマークでは見えづらかったモデルの弱点を測定できます。
https://t.co/g8mMwEAsai

[山本一成🌤️完全自動運転AIを作るチューリングのCEO @issei_y]

東京の走行データから学習しているチューリングの自動運転モデルを名古屋市街地で走行させてみたら、約30分の無介入走行がアッサリと出来ました。途中から雨が降り出すなか、見た事がない複雑な道を上手く走行しており、e2eモデルの強さを感じます☔️

[長谷敏司 @hose_s]

この「本当に現実的なのか？」という議論については、「技術をキャッチアップできた」と採点するフォーカス範囲の問題だと思います。
アメリカの最新モデルと同等性能のAIを、同時期に手に入れることは、日本の感覚で多額の予算を使っても、将来もよほどのことがないと不可能です。
ここがフォーカスなら「技術のキャッチアップは、日本の現在位置と予算では不可能」です。

今は２年〜２年半遅れ程度の遅れくらいのイメージですが、「この差がどんどん開いていくけど、それを費用対効果アリとするの？」という問題ですね。
たぶん、最近話題のダリオ・アモディ氏ら、アメリカのテックリーダーなら「意味はない」と言うでしょう。

ただ、この問題は興味深くて、たとえば現在の日本で行われている知的労働をほぼ代替可能なラインが「アメリカで２０３５年」とし、日本では多額のAI予算を使っていなおその頃には今の５倍の遅れになっていて「日本では２０４５年」と、シナリオを仮定してみます。
このＡＧＩに１０年遅れで着地の自国産ＡＩモデルの開発に意味はないかというと、私は、間違いなくあると思います。

「アメリカ企業がモデル使用量を１０倍に上げる」、「アメリカ政府が、国外ユーザーのデータ主権の破棄を要求する」といった、致命的な事態に対して、他の選択肢があることがレバレッジになるためです。
なぜそうなるかというと、相対値ではなく、「AGIは、人間の知能という固定のゴールラインが存在する、絶対値のゴール」だからです。
１０年後には顧客を失う、同じ圧力を受けたAI開発国による国際研究でその期間は５年後になるかもしれないということになれば、それは強いレバレッジになり得ます。

開発が数年遅れることは、「技術のキャッチアップができた」と言えるかという問題に、私は「言える」と考えています。
「遅れる遅れないの問題ですらなく、モデル開発は、AI開発における基礎研究なので、これをやめるとAI開発の裾野自体を失う」と、考えているのです。

[nao @TdpQw]

これ、この前よびのりの動画で知ったわ
独学の辛いとこね、これ

[おいらはオイラー @Q1Ts0]

コレ
上限をサップって呼んでたら教授がスープ、スープ言ってて、始めて知った

[nao @TdpQw]

Veoの時もこんな感じの論文出してたな
やっぱ超高性能生成モデルで汎用的なタスクが解けるというのは直感的にも理解できるし、この路線でまだまだ汎用モデル開発が盛り上がりそう
https://t.co/OQkYq8qJvV

[もしたく @MosiTaku]

画像生成モデルがVisionタスクの汎用性も持つよ&むちゃ強いよっていう研究で、内容がすごすぎて横転
SAM3, Depth Anythingを上回るらしい
https://t.co/eG2BCoAcoD
4/22 by Google Deepmind

[nao @TdpQw]

エントロピー池崎を鑑賞中
池崎氏めちゃくちゃ物分かり良いな

[nao @TdpQw]

数年前から高校大学生だかに流行って授業中にも使ってるとか見てたけど、その人らは毎日自分のイケてる（）日常を撮影していたのから、社会人になっても投稿欲に駆られる&タイミングが就業時だからこうなるんだろうな
ドパガキの一種の末路

[JSF @rockfish31]

BeRealというものを初めて知ったのでどういうサービス内容か見て驚愕する。こんな空中散布地雷をばら撒くような代物が若者の間で流行ってるのか…

[nao @TdpQw]

良いモデルの幾何！
やりたいなーと思ってたけどそらみんなやるよなあ

[Jiawei (Joe) Zhou @jzhou_jz]

What does a good language model look like internally in geometry?

We find a simple but surprising signal:
👉 the more spread out its hidden representations are, the better it predicts
(even for semantically similar contexts)

ICLR 2026 https://t.co/Yso57fMXmk
Presenting now👇

[OpenAI @OpenAI]

Introducing GPT-5.5

A new class of intelligence for real work and powering agents, built to understand complex goals, use tools, check its work, and carry more tasks through to completion. It marks a new way of getting computer work done.

Now available in ChatGPT and Codex.