akionux

I'm not a financial advisor and this is not financial advice. DYOR

[Kai Aoki @kaixaoki]

【フロンティアモデルまとめ】

Fable5:
- 高い、口達者
- 指示に従わない
- タスク難度がFableの能力以下の場合はうまくこなす。能力以上のタスクではアドバイスに従わず自己流を貫いて無限に失敗

Opus4.8:
- プロンプトインジェクション妄想患者。論外

GPT5.5:
- 安くて従順
- 指示側が賢ければ一番使える
- 驚きはない

GLM5.2:
- クソ安い、アル中、もちろん無能

[Daisuke Okanohara / 岡野原 大輔 @hillbig]

大規模言語モデルは、単に次のトークンを予測しているだけでなく、出力には現れない中間概念を内部で保持し、それを使って推論していると考えられる。

研究 “Verbalizable Representations Form a Global Workspace in Language Models” では、Claude Sonnet 4.5 などのモデルを対象に、モデル内部に J-space という、「言語化可能で、報告でき、操作でき、柔軟な推論に使われる」表現集合が存在することを報告している。

この概念は、人間における意識の概念と近い部分がある。ただし、ここでいう意識は、主観的経験としての意識ではなく、人間の認知におけるグローバルワークスペース理論を参照しつつ、あくまで「報告可能で、推論や行動制御に使える状態にある」という機能的類似性を指摘している。

グローバルワークスペース理論では、脳内の多くの処理は無意識に進む。一方で、ごく一部の情報だけが「作業場」に上がり、多くの下流プロセスから読めるようになる。その情報は、言葉で報告でき、注意によって保持でき、柔軟な推論に使える。

LLM の内部にも同じように、すべての情報ではないが、特定の情報だけが共通形式で保持され、後続の処理から広く読まれるのではないかと考える。

この構造を調べるために本研究で導入されたのが、ヤコビアンレンズ（Jacobian Lens）、略して J-lens である。通常、ネットワークの内部状態を調べる方法として logit lens がある。logit lens は、中間層の残差ストリームに、そのまま unembedding をかけ、その層がどのトークンを表していそうかを読みとる方法である。

しかし、中間層と最終層では表現の座標系が違う可能性がある。また、中間層の活性が最終的にどのような影響を与えるのかも、単純な unembedding だけでは分からない。そこで J-lens は、中間層の活性値の微小な変化が、最終層の活性値の変化に与える平均的な線形効果をヤコビアンとして計算し、それを通して中間表現を読む。

具体的には、層 l の残差ストリーム h_l が、現在または未来の最終層にどう影響するかを、多数のプロンプトと位置にわたって平均する。これによって、中間層の活性が「将来どのトークンを言わせる傾向にあるか」を読むことができる。

J-lens には各トークンに対応する J-lens vector があり、それらは残差ストリーム空間内の方向として定義される。その「少数の J-lens vector の非負スパース結合で表せる点の集合」を J-space と定義する。

この J-space が本当に後の出力に影響を及ぼすかを確かめるために、論文ではさまざまな介入実験を行っている。

たとえば、「巣を張る動物の足の数は？」という問題を考える。正解するには、まず「巣を張る動物」はクモだと推論し、その後、クモの足は8本だと答える必要がある。この場合、プロンプトにも出力にも「クモ」という単語は現れないにもかかわらず、J-lens で中間層を読むと「クモ」が現れる。そして、クモに対応する J-lens vector をアリに差し替えると、モデルの答えは8から6に変わる。これは、J-space に現れたクモが単なる相関ではなく、実際に下流の推論に因果的に使われていることを示している。

同じことは、詩の生成や多言語推論でも見られる。韻を踏む詩を完成させるとき、モデルはまだ出力していない未来の単語を中間層で保持しており、その予定語を差し替えると、途中の語も変化する。また、中国語の問題を考えるときにも、内部では対応する英語表現が登場している場合がある。これは、J-space において、表面言語とは独立した中間推論の共有表現が働いている可能性を示している。

さらに、論文では国、月、動物、数詞などを使った体系的実験も行っている。たとえば、ある国に対応する J-lens vector を別の国に差し替えると、首都、言語、大陸、通貨など、複数の異なる質問に対する答えが一貫して変化する。これは、同じ J-lens vector が複数の関数的処理に引数として渡されていることを示している。

ただし、J-space はモデルの全処理を担っているわけではなく、文法処理、言語の局所的継続、よく訓練された自動処理などは、J-space を強く使わずに進む場合がある。論文では、J-space を「モデルのすべての思考」ではなく、「言語化可能で、柔軟な推論や報告に使われる特権的な表現集合」として位置づけている。これは、人間の認知における無意識処理と、意識に上がる処理の区別に対応している。

この枠組みは、AI安全性にも大きな意味を持つ。モデルが表面上は危険な行動をしないとしても、内部で何を認識し、何を検討していたかを調べられる可能性がある。実際、J-spaceを調べることで、モデルが内部で現在の状況が安全性を調べる評価用の人工シナリオ内であることを把握していることもよみとれる。

この J-space は、訓練によって形作ることもできる。あるタスク実行中の文脈に対して、「ここで内省を求められたら何を考えるべきか」という反省文を追加し、その反省文だけを教師信号として fine-tune する。評価時には、モデルに反省文の出力を求めない。それでも fine-tune 後のモデルでは、元のタスク文脈を読んだだけで、J-space に倫理性、正直さ、透明性といった概念が現れ、最終的な行動も改善する。

LLM の内部が何を考えているかを見ることができるインタラクティブなデモも公開されており、非常に興味深い。

コメント
===
この論文は、機構解釈性の研究においてかなり重要な一歩だと考える。LLM内部状態を、読めるだけでなく、操作でき、因果的に検証できる方法が確立されてきている。

LLM の Transformer における処理は、基本的に残差ストリームに集約されている。残差ストリームは、初期の入力トークンに対応する embedding から始まり、各層を通じて変化し、最終層では次トークン予測に使われる。ただし、それ以外の中間層にも、必ずしも出力トークンとは直接関係しない多様な概念が組み込まれていることが、これまでの研究から分かっていた。

本研究の一番の技術的貢献は、これらの内部状態をそのまま unembedding で読むのではなく、ヤコビアンレンズを使って読む点にあり、現在の内部状態が後段の処理でどのように使われうるかをもとに、言語化可能な概念候補を取り出す方法を示したことである。

内部状態の次元数はトークン種類数よりずっと小さいにも関わらず、トークンに対応する概念操作が可能であることから、論文でも述べられているように、内部では疎な過剰基底のような形で概念が扱われていると考えられる。さらに、各層・各位置ごとに有効な読み出し方向が異なるため、J-lens はその局所的な座標系を与えているとみなすこともできる。

これは、現在よく使われる線形表現やグローバルな特徴方向だけでモデル内部を分析することの限界も示している。今後の解析では、層、位置、文脈に依存した局所的な情報構造を扱うことが重要になるだろう。

内部状態をより正確に読み取れるようになれば、それを直接修正することもできる。これは、従来とは異なる形で信用割り当て問題にアプローチする可能性を開くものであり、学習やアラインメントにおけるブレークスルーにもつながるかもしれない。

[Cleverly 💐 @Cleverlydey4u]

Norway vs Brazil…its about to get real 😬

[Trung Phan @TrungTPhan]

> Japan lost
> Germany lost
> Italy didn't show up
> Europe doesn’t have Air Conditioning

Welcome to 1945.

[akionux @akionux]

オクトパスエナジー、API使えるの良いな

[Benjamin Marie @bnjmn_marie]

vLLM now supports many different types of KV cache, including several low-bit options.

I want to benchmark all of them: speed + accuracy

[akionux @akionux]

溶融炭酸塩型燃料電池(MCFC):空気や排ガス中のCO2を捕獲しながら発電できる夢の燃料電池。電極間に電解質で満たした多孔質構造の電子絶縁、ガスバリア、炭酸イオン通路確保、高温の電解質中での耐久性、構造的強度のすべて両立が鍵(Boveら2024)。1970年代から研究されている。

[akionux @akionux]

プロファイルの調整に当たり、セッションの途中で別のツールが必要になったら、ツール追加後にフォークして新しいセッションで継続する必要があるっぽいとか細かいノウハウがある

[akionux @akionux]

Hermes Agent のTelegram gateway から同WebUIに切り替えたら思考過程やツール呼び出しがよく見えるようになって圧倒的にフィードバック改善しやすくなった。
最終的にはオーケストレータ経由でタスク特化プロファイルに作業を委任するのがよいが、まずはプロファイルごと使って調整する必要あり。

[ÆON FORGE ✨ @SpaceTimeViking]

I don’t know what to say, even I’m at a loss for words.

[Simon Weber @SimWeberTUM]

What if attention wasn't about matching tokens, but operating in function space?

Glad to share our #ICML2026 paper:
📄 Functional Attention: From Pairwise Affinities to Functional Correspondences

w/ @Jiefang_Xiao @GaoMaolin @stevenygd Daniel Cremers
📄 https://t.co/rhn9NtwrBm

[激走くじゃわさん @Qjawa_san]

ひろゆき、かつてはインターネット不謹慎の権化みたいな人だったのに、世間の狂い方の方が遥かに激しくて、どんどん常識人枠に収まっていく

[鳥井 弘文 @hirofumi21]

すごい。狂気だ、完全に狂ってる。

長年ずっと一緒に対話し続けてきたからこそ思うけれど、最近のF太さん、何かが完全にハズれて、一気に限界突破が起きていて、最高だ。

F太さんがこの先、どこにたどり着くのか、ものすごく興味があるし、一生対話しながら見届けたい。

[hardmaru @hardmaru]

For over a decade, we’ve accepted that end-to-end backprop is the only way to train deep networks. But holding the entire network in memory all at once is why AI training is hitting a resource wall.

We found a new way to break the network into blocks and train them independently. The trick? Treating the network’s forward pass like a diffusion model denoising a signal.

This reinterpretation slashes the memory needed to train deep models. In our #ICLR2026 paper (https://t.co/PK5h0mqQSo), we matched end-to-end performance across ViTs, DiTs, and LLMs. We did this while training just one isolated block at a time.

[akionux @akionux]

@XReyRobert Correction: Hermes said 160-200 TPS, but it was actually 25 TPS haha

[akionux @akionux]

Qwopus3.6-27Bツール呼び出しめちゃミスるがサービング設定が悪いのか？まだレビューがないからよくわからん。とりあえず実績のある3.5の方に戻してる

[akionux @akionux]

Qwopus3.5-27b really rocks.
My best setup of llama-server on a single RTX3090:
hf = Jackrong/Qwopus3.5-27B-v3-GGUF:Q4_K_M
c = 262144
jinja = on
reasoning = off
fa = on
cache-type-k = q4_0
cache-type-v = q4_0
spec-default = on

262k, 160-200 TPS, almost perfect tool calling in Hermes.
I don't know the negative effect of the q4_0 kv cache.
Haven't tried vLLM, but tool parsing could be better.

[akionux @akionux]

Hermes AgentでQwen3.6系は期待した（Qwopus3.5-27b超える）実用性が出ない。Qwopus3.5-27bの完成度が異様に高いということなのだろうか。それかテンプレート周りの見落としがあるか

[akionux @akionux]

やはりツール失敗多い
ツール後の出力後の精度は3.5より良さそうなので惜しい

[akionux @akionux]

--spec-type ngram-mod消したらうまく動きました