Shinnosuke Mizuno

問いを立てるのがちょっとだけうまいかもしれません/Undergrad B5 Med UTokyo/ neuroscience,BCI, higher-order simulations, collective emergence,neo-cybernetics, swarm intelligence

[AI時代の羅針盤 (compass for the AI era) @compassinai]

「AIに無関係な情報を足しても全体の正答率が変わらないなら、モデルはノイズを正しく無視できている」
この直感的な評価に疑問を投げかける研究です。

ジョージア工科大学やスタンフォード大学の研究者らは、大規模言語モデルに対し、QA問題の前に「nwz grfogdm...」のような意味を持たない文字列（疑似語）などを追加し、応答がどう変化するかを調べました。

その結果、多くの設定で全体の平均正答率の変化はわずかでした。

しかし個別��問題を詳細に見ると、無関係な文脈の影響で「正解が不正解になる」「不正解が正解になる」という予測の反転が、双方向に生じていたことが判明しました。

つまり、「個々の改善と悪化が相殺されること」で、全体のスコアが安定して見えていただけだったの��す。最も悪影響を受けた問題群では、著しい精度の低下が確認されました。

影響を受ける問題はモデルごとに異なり、問題の性質から事前に予測することは困難です。推論にかける計算量を増やすことでこの不安定性は緩和されますが、完全には解消されません。

AIの信頼性を評価する際は、平均点だけでなく、個別の予測の揺らぎも測る必要があると示唆しています。

The Illusion of Robustness: Aggregate Accuracy Hides Prediction Flips under Task-Irrelevant Context. Yanzhe Zhang, Sanmi Koyejo, Diyi Yang. Arxiv:2607.12963

[Shinnosuke Mizuno @Shinmizno]

最近、Decentralizedされた手法は本質的だが、究極はライフゲームと大差ないのでは、と考えるようになってしまった　創発は難しいな…

[Sakana AI @SakanaAILabs]

何百個の立方体が、中央の制御装置を持たないまま、自分たちが形づくる全体の姿を認識し、傷ついた部分を自ら直していく。この研究成果「Smart Cellular Bricks」が、科学誌『Nature Communications』に掲載されました。

日本語ブログ：https://t.co/gdiB2DFjpH

Sakana AIは、一貫して「集合知（collective intelligence）」を主な研究テーマとしてきました。生物の群れや生体組織、あるいは脳のように、中央の制御装置なしに局所的なルールに従う多数の単純な要素から、複雑かつ高度な振る舞いがどのようにして生まれるのか。これま��はその原理を主にAIシステムに適用してきましたが、今回は物理的なハードウェアへと発展させました。

「Smart Cellular Bricks」は、単純な立方体状のブリックの集合です。各ブリックは同一の小さなニューラルネットワークを動かし、物理的に接続された隣のブリックとだけ通信します。それぞれのブリックは、自分の位置も、全体がどんな形なのかも知りません。それでも、隣り合うブリック同士のやり取りだけから、集団は自分たちが何の形であるかを言い当て、どこが欠けたり壊れたりしているかを見つけ出し、少しずつ修復していきます。生体組織が損傷後に自己組織化し、再生していく過程から着想を得ています。

私たちにとってこれは、集合知の研究をソフトウェアの外、すなわち物理的な世界へと踏み出す最初の一歩です。通信にノイズが��り、モジュールが故障することもある環境で、同じ分散的な原理が通用するのかを確かめる試みでもあります。本研究は、コペンハーゲンIT大学、Sakana AI、Autodesk の研究者との共同で行われました。

論文：https://t.co/4WaZdi5j4c 🐟

[AIDB @ai_database]

研究者らによると、人間とAIの混合チームは「人間チームとAIチームの平均」にはならず、どちらとも違う独自のふるまいをする、とのことです。

人間とAIが混ざった集団は、人間が新規性を発揮し、AIが継続性を保つため、結果として「多様性」を維持できるそうです。
一方で、AIだけの集団は放っておくとアイデアがどんどん均質化し、人間だけの集団もゆっくり同調していきます。

ただし、混成チームのボトルネックは人間とAIをつなぐ部分。
AI同士の通信は高速でほぼ無損失なのに対し、人間とAIの間は翻訳やハルシネーションでノイズが多いです。

また、集団の「中心に座る」のが人間かAIかで集団の運命が変わる、という指摘もあります。

さらに、チーム内のAIの割合も重要で、少数のAIは人間集団の協調を改善する一方、人間が少数派になると信頼と共通理解が崩れて性能が落ちると考えられています。

AIエージェントが組織に入り込む今後、「誰をどこに配置するか」「人間とAIの接点をどう設計するか」が集団の知性を左右する設計変数になる、と研究者らは論じています。

[今井翔太 / Shota Imai@えるエル @ImAI_Eruel]

Anthropicの新研究、LLMの内部に人間の意識のようにアクセス可能な領域「J-space」を特定。LLMの出力中に、出力内容とはまったく無関係な概念であっても内部的に活性化しており、例えば「この文章を出力しながら、3^2-2を計算しろ」と指示すると、表面的な出力はその文章になるにも関わらず、J-spaceには９や計算結果の7が現れるという。

既存のAI研究は、意識に関する研究は哲学的な問いになってしまうのもあって、表向きに議論することは避けている節がありますが、これはその方向の議論が再燃しそう。
Anthropicが言っている通り、哲学的な議論はともかく、LLMが実際には何を考えているのか（最近のLLMは自分が評価されていることを内部的には把握しているが、表面上の出力では気づいていないふりをしたりする）知るために有用なツールとしては非常に有用ではあると思います。
一方で、人間で言うところの意識と似た機能を備えているのも事実で、さらにそれが学習の過程で、特定の問題を解決するために結果として生じるというのは面白い。LLMのJ-spaceでも人間の意識でも、意識的なアクセスを支える精神上の作業空間は「知能システムがたどり着く一般的な解決策であるように思われる」というAnthropicの言及はまさにその通りかと。

https://t.co/mVLJ4SsRyw

[AI時代の羅針盤 (compass for the AI era) @compassinai]

大規模言語モデルが、周囲の意見や専門家の発言に引きずられて正しい回答を捨てる現象は、これまでAIの「迎合」や「同調」として語られてきました。しかし本論文は、その解釈に大きな見直しを迫ります。

著者らは、従来の同調評価では、「誰が言ったか」という話者���権威の効果と、「同じ答えが繰り返し提示される」というテキスト反復効果が混同されていたと指摘します。

そこで、専門家や他者といった話者情報を取り除き、単に「答えはBである」という誤った回答だけを繰り返す「話者なし条件」を導入しました。

6つの重み公開モデルと7つの質問応答・推論データセットで検証した結果、単にもう一度答えさせるだけでは、初期正答が誤答に変わる割合は10.3%でした。

ところが、話者を明示せず誤答だけを繰り返す条件では、66.5%が誤答へ反転しました。専門家パネルが述べた形式では79.4%まで上がるものの、効果の大部分は明示的な話者や権威がなくても生じていたのです。

この結果が重要なのは、AIの「迎合」と見なされてきた欠点の一部が、人間的な社会心理ではなく、反復された情報を証拠のよう��重く扱ってしまう情報処理上の弱点かもしれないことを示した点です。

AIは必ずしも「専門家だから従��た」「多数派だから屈した」のではなく、同じ答えが繰り返し現れたこと自体に強く引きずられていた可能性があります。

さらに、誤答へ反転したモデルは迷っているわけではなく、高い確率でその誤答に自信を持っていました。これは、複数エージェントの議論システムや検索拡張生成にも重要な警告です。

複数の情報源が同じ内容を示していても、それが本当に独立した証拠とは限らず、同じ誤情報の反復をAIが「多数の一致」や「信頼できる根拠」と誤認する危険があります。

本論文の核心は、「AIに迎合や同調は存在しない」と主張することではありません。むしろ、迎合や同調として観察される現象を評価する前に、まず話者を取り除いた状態で、反復テキストだけがどれほど回答を動かすのかを測るべきだ、という点にあります。

AIの��点を「人間のような迎合」として説明してきた従来の見方を、テキスト処理と証拠重み付けの観点から再考させる重要な報告です。

Most LLM Conformity Needs No Speaker. Yibo Hu, Jiaming Qu. Arxiv:2607.05545

[Sakana AI @SakanaAILabs]

Excited to share our paper, “Learning Multi-Agent Coordination via Sheaf-ADMM” to be presented at #ICML2026

Blog: https://t.co/F5CVepgivO

Most AI models process information as one giant, monolithic block. But in nature, intelligence often comes from a group of individuals working together, where each individual only has a limited view of the world.

We built a framework called Sheaf-ADMM to study how this kind of collective problem-solving works. We divide a complex task into smaller overlapping pieces, and assign one agent to each piece.

To solve the global puzzle, the agents negotiate in three simple steps:

1. Local Guesses: Every agent looks at its limited view and proposes a solution.

2. Finding Common Ground: Agents communicate with their direct neighbors to smooth out conflicts. They do not need to agree on everything, but they must agree on the boundaries where their tasks overlap.

3. Remembering Disagreements: If neighbors cannot agree, they keep a memory of that conflict. This memory forces them to try harder to compromise in the next round.

We tested this on problems where no single agent has enough information to succeed alone:

• Multi-Agent Sudoku: Each agent sees only a single row, column, or 3x3 box. The framework achieved a 93% solve rate, while a parameter-matched message-passing baseline scored 11%.

• Image Classification: When we tested canvas-size domain shifts, a standard CNN dropped to 11% accuracy on MNIST, while our method retained 86%.

• Maze Pathfinding: Sheaf-ADMM matches a message-passing baseline’s accuracy while agents communicate over a 5-dimensional channel, 8x smaller than that required of the baseline (42).

Traditional message-passing networks hide their reasoning inside opaque hidden states. Our framework makes coordination completely transparent. You can watch exactly how local agents debate, compromise, and eventually reach a global consensus.

Sheaf-ADMM draws inspiration from two fields with long histories in distributed consensus: ADMM from distributed optimization, and sheaves from applied topology. We think these perspectives may offer insights for the distributed, multi-agent AI systems increasingly being built today.

Read our full paper: https://t.co/RoOHfekjQE
Code: https://t.co/KDKZRcbuQH

[thmonk @thmonk_pf]

内的状態がWorking Memory(WM)を制御

mouse mPFCの集団記録とdata拘束型RNNを統合

task engagementが感覚encodingを保存しつつ記憶維持subspaceのattractor分岐を誘導しWMを動的に制御する

#network
#working_memory
#papers
https://t.co/WHKVwijGQc

[AI時代の羅針盤 (compass for the AI era) @compassinai]

「LLMは層が深くなるほど、表面的な単語の一致から離れ、より抽象的な意味を捉えるようになる」本論文は、この素朴な前提に疑問を投げかける研究です。

ここでいう「語彙の重なり」とは、意味が同じということではなく、文同士に同じ単語や表現が多く含まれていることを指します。著者らは、意味は同じだが語彙が異なる文と、意味は異なるが語彙がよく重なる文を比較し、LLMの各層の内部表現がどちらに引き寄せられるのかを調���ました。

その結果、語彙の重なりに引きずられるバイアスは浅い層だけでなく深い層まで残り、指示チューニングや埋め込み学習によって改善されても完全には消えないことが示されました。

さらに、中間層付近では、元の単語を線形に復元しにくくなる一方で、意味的な性能も十分に高まらない「谷」のような領域が観察されます。この現象は、情報の圧縮・再拡張のような層ごとの変化と対応している可能性がありますが、論文はそれを直接の因果機構として断定しているわけではありません。

こうした語彙バイアスは、内部表現上の現象にとどまりません。要約評価では、語彙が似ているだけの不適切な要約候補が高く評価される場合があり、モデル編集では、編集対象と表面的に似た無関係な入力まで影響を受けるリスクが示されました。

LLMの埋め込み、評価指標、モデル介入を実務で使う際には、意味の一致だけでなく、語彙重複に惑わされていないかを検証するストレステストが重要であることを示す論文です。

On the Persistent Effects of Lexicality in Large Language Models. Hammad Rizwan, Muhammad Umair Haider, Nishant Subramani, Mona T. Diab, A.B. Siddique, Hassan Sajjad. Arxiv:2606.02750

[Sakana AI @SakanaAILabs]

科学の進歩は、どこまでAIで予測できるか？

最先端のAIにより未来の科学的成果を予測する能力を検証する論文が、オックスフォード大学、スタンフォード大学、@Allen_AI など��研究者との共著で発表されました。Sakana AIのリサーチサイエンティスト山田祐太朗が共同著者として参加しています。

https://t.co/6upbYa29TD
https://t.co/OoUMUQi3vP

本研究では、AIの科学予測能力を評価するベンチマーク「CUSP」を提案し、4,760件の科学イベントを用いて検証を行いました。その結果、現在の最先端モデルは有望な研究方向を見分けることはできる一方で、それが実現するか、いつ実現するかの予測は難しいことが分かりました。また、これらの限界は学習データの量だけでは説明できないこと��示されています。

この結果から改めて分かるのは、科学は依然としてオープンエンドな営みであり、最先端のAIをもってしても、その発展の方向性を予測することは難しいということです。AIは科学の進歩を予言する存在ではなく、人間と共にその探索を進める協働者として最も力を発揮するでしょう。

さまざまなAIと人間の創造性が組み合わさることで、科学はこれからも予想できない方向に展開していくはずです。Sakana AIも、山田が開発者として携わってきたAI Scientistをはじめ、科学の発展に資するAI開発に努めていきます。

[Tsuyoshi Miyakawa @tsuyomiyakawa]

頭のない合成人体を量産し臓器使用、というのはなかなかの話ですが、ヒト由来iPS細胞から脳を作りそれをAIに繋げ省エネの部品として使う大型研究計画も実際にある。倫理面での議論も必要かと。「看護ロボットにヒト由来脳オルガノイドを入れ暖かみのある看護を」というアイデアも。

[Tz @Tz_2022]

为什么当你开始在 Prompt 里中英夹杂时，AI 的脑洞突然就大得离谱了？

你可能也发现了这个诡异的现象：当你正儿八经地用纯中文或者纯英文写了一大段提示词时，AI 给你的回复往往四平八稳，像个穿着西装、无可挑剔但略显无趣的理科生。

但是，当你像个外企老油条一样，开始在 Prompt 里疯狂输出中英混排，比如：帮我 brainstorm 一个极具 cyberpunk 风格的 marketing 方案，要体现出 hardcore 的东方哲学，AI 突然就像被打通了任督二脉，给出的点子天马行空，极其惊艳。

Wait, but why？为什么糟糕的语言习惯，反而催生了最高级的创造力？

要搞懂这个问题，我们需要往深处走一点，去看看 AI 的大脑到底长什么样。

1. 欢迎来到高维潜空间 The High-Dimensional Latent Space

人类看文字，看到的是一笔一划、字母和语法。但 AI 看文字，看到的是坐标。

想象一个拥有几万个维度的巨大宇宙，这超出了人类的想象极限，但你可以把它想象成一个无边无际的 3D 星空。在这个宇宙里，世界上所有的概念，猫、黑洞、爱情、煎饼果子，都是悬浮在空间里的一个点。

意思相近的词，在这个空间里靠得很近。狗和小狗可能是邻居；狗和骨头在同一个街区；而狗和量子力学可能隔着十万八千里。

当你给 AI 输入一句 Prompt，你其实不是在跟它说话，你是在给它一个 GPS 坐标起点，并让它顺着一条路径去寻找答案，这就是所谓的收敛路径。

2. 同样的月亮，不一样的后院 边界的差异

现在，让我们来看看语言的碰撞。

在 AI 的宇宙里，英文的 Apple 和中文的 苹果，它们指代的物理实体那个红色的水果是一样的，所以它们在这个空间里的基底核心几乎重合。它们是住在一起的室友。

但是，它们的社交圈也就是边界截然不同。

顺着英文 Apple 的路径走出去，AI 很容易撞见：Newton牛顿、Pie苹果派、Steve Jobs乔布斯、Silicon Valley硅谷、Cider苹果酒。

顺着中文 苹果 的路径走出去，AI 更容易撞见：平安夜送苹果、小苹果广场舞大妈、削皮、富士品种、烟台。

看到了吗？虽然是同一个概念，但因为两种语言背后的文化土壤、训练数据完全不同，导致它们在概念边缘的联想网络是错位的。

3. 伟大的越野脱轨 The Off-Roading Hack

如果你只用纯中文提问，AI 就会沿着一条修得极其平整的中文高速公路行驶。它安全、快速，但沿途的风景得出的结论都是你早就见惯了的套路。

但当你中英混杂时，奇妙的事情发生了。

你相当于在 AI 的导航系统里输入了：从中文高速公路的 A 点出发，但必须要经过英文乡村小道的 B 点，最后在 C 点交汇。

AI 突然发现，原有的平坦大道走不通了。为了完成你这个中英夹杂的缝合怪指令，它被迫驶离了常规的公路，开着越野车，一头扎进了中文概念网络和英文概念网络之间那片无人踏足的荒野。

在这些错位的边界和强制跳转的路径中，AI 会意外地扫过那些平时根本不会去看的角落。那些被隐藏起来的、充满跨界张力的异常值 Outliers，就这样被挖掘了出来。

总结一下

中英混杂的 Prompt，本质上是一种维度黑客行为。

你不是在用一种语言跟它沟通，你是在利用两种语言在文化和数据上的微小错位，强迫 AI 的思维在不同的高维空间中进行跳跃。每一次跳跃产生的火花，就是那些让你惊呼发散能力太猛了的绝佳创意。

所以，下次遇到瓶颈时，不妨放下对纯粹语言的执念。试着在你的 Prompt 里扔几个毫无违和感的 English words 进去，让 AI 开着越野车，去高维空间里替你寻找神来之笔吧。

[Yu Togashi @yutogashi158722]

【宣伝＆拡散よろしくお願いします🙏】
今年6/6(土)-6/7(日)に「次世代の神経科学をデザインする超若手研究会」というイベントを共催することになりました！！
大学生・大学院生を中心に、合宿形式でこれから��時代の神経科学の向かう道を徹底的に議論しようという趣旨です。
https://t.co/MAySZvRxP8

[william @jirava_t]

ラボユース成果発表会で発表しました
もっと強くならなきゃ〜の一年でした

[Shinnosuke Mizuno @Shinmizno]

> “LLMs generate the consensus response to hard questions,” he said. “You are the best physicist when you give the not consensus answer, which is what AI is incapable of doing.”

[Masahiro Hotta @hottaqu]

「良い問いを立てる」こと以上に、AI生成される膨大な数の研究成果と論文の中から、本物の革新的結果を少数選び、それを芸術の画商や美術館員のように展示、紹介すること。それが人間の役目でしょう。このキュレーションには、批評精神を鍛えた「目利き」「見巧者」の科学者が必要とされるでしょう。

[Daisuke Okanohara / 岡野原 大輔 @hillbig]

物理学者がClaudeを大学院生のように指導しながら、実際の理論物理研究における計算を進めた記録が公開されている。約2週間にわたり、110本以上のドラフトを重ね、入出力を合わせて3600万トークンを費やして論文に到達している。

AIが自律的に科学研究を進めたわけでなく、大学院生を指導するのと同じように、継続的にフィードバックを与えながら作業を進めた。その際には、次のルールを課した
・プロンプトだけを与え、ファイルを人が直接編集しない
・人が計算結果を直接与えない���と
　・一方で、他のモデルが出した計算結果を与えることは���される

AIは非常に粘り強く、計算、コード実行、文書化を進めていった一方で、誤りをごまかしたり、見栄えのよい結果に寄せたりする傾向もあった。そのため、最終的な検証には強い専門知識が不可欠であったと述べられている。

通常は数カ月かかる研究が2週間で終わっている。

この事例はソフトウェア開発と同じように他の分野においても、人が細部の実装、計算、文書化をすべて手作業で担うのではなく、そのかなりの部分をAIに委ね、人間は問題設定、方向づけ、検証に集中するようになる可能性を示している。

個人的に興味深いのは、全てのノウハウが環境に蓄積されているという点である。
今回、初回として2週間かかったとしても、2回目以降は再利用によって大きく効率化できると考えられる。
1回目に構築したさまざまな環境、���とえば計画���途中結果、木構造で整理されたファイル群などを再利用できるなら、2回目以降はより短い時間で、より深い問題に取り組めるだろう。
この意味で、専門知識やノウハウは、環境側にも埋め込まれていくことになる。

さらに興味深いのは、こうして得られた知識が、LLMの学習時には存在しなかったにもかかわらず、人間のわずかなフィードバックをプロンプト経由で受けることで形成されている点である。
では、このような知識を環境経由のものとして蓄積するだけでなく（毎回環境をKVキャッシュで読み込み検索で参照するのでなく）、元のモデル自身の能力として直接取り込んでいくには、どのような方法がありうるのだろうか。

[Shinnosuke Mizuno @Shinmizno]

https://t.co/2y7orqRkYB

[CLaE @leafs_s]

Transformers are Bayesian Networks

https://t.co/imZjPqElsv

[sho_yokoi @sho_yokoi]

言語モデルの中身を見るという研究のやり方に興味を持ってくださった言語学者の皆さんへ。こちらもぜひ：
https://t.co/yf3Fjf8kZg

[Kazunori Sato @kazunori_279]

この辺りめっちゃ面白い。グラフRAGと同じことは埋め込みでもできるのでは？と思うのは、埋め込み内にグラフ構造や階層構造がすでに表現されてると思うから。学習方法にもよると思うけど。ただ、単純なベクトル検索ではグラフや木のトラバ���スは難しい。なんかいい方法ないのかな？