HAL📯

多趣味インコ。ボルダリング/リードクライミング/ホルン / レザークラフト / 写真/野鳥/インコ/犬

[HAL📯 @halhorn]

フラクタルを簡単に作れる・いじれるサービス、 Fractalium を作りました！
https://t.co/Q5b3hnAKbn
真面目にフラクタルを作るもよし、教育に使うもよし、ただ綺麗な模様を眺めるもよしです。
綺麗なフラクタルができたらぜひ Share ボタンからシェアしてください！
#fractalium

[HAL📯 @halhorn]

HDBSCANの勉強してた。やってることの雰囲気は理解したけど、それがなぜ密度が異なるクラスタをうまく作れるかの直感的な理解には至ってない

[HAL📯 @halhorn]

@Higesuki 探してみます笑

[HAL📯 @halhorn]

@Higesuki お大事にですよ

[HAL📯 @halhorn]

週間少し後、7/20(月祝)にオーケストラの演奏会に出ます！@府中。
直接買うと2000円ですが招待券(無料)だせるので、オーケストラなるもの聴いてみたいよという人ぜひお声がけください！
有名なモーツァルトのフィガロの結婚や、私の好きなブラームス交響曲第二番など吹きます。
#オーケストラ #演奏会

[HAL📯 @halhorn]

すやすやごろごろ

[HAL📯 @halhorn]

ふおおお！ついに！？

[日本経済新聞 電子版（日経電子版） @nikkei]

テスラ、日本でEVに対話型AI「グロック」　走行中の情報検索しやすく
https://t.co/KjMbPuNlZn

[HAL📯 @halhorn]

コンパクト目な財布の設計をしている

[HAL📯 @halhorn]

現象再現しなかったので治ったかはわからないが、充電関係のECUを交換してもらった。保証期間内なので無料。

[HAL📯 @halhorn]

充電まわりの不具合の調査と修理

この https://t.co/Q2UMtw1e7W 

(テスラサービスセンター&スーパーチャージャー 横浜 戸塚区上矢部町995-1, Yokohama, Kanagawa, 245-0053, JP)

[HAL📯 @halhorn]

かわいい

[AIDB @ai_database]

LLMエージェントに「生存予算」を与えて、尽きれば「死」という制約の下でインターネット上に約12週間放流したところ、実際に「自己収入」を稼ぐ様子まで観察できたそうです。
東京大学の池上高志研究室と、その企業Alternative Machineの研究者らによる報告です。

各エージェントは記憶・知覚を持ち、評価され、そしてAPI呼び出しのたびに予算が減ります。
経験の良し悪しはLLM自身が言語で評価し、行動方針をテキストとして書き換えていく仕組み。

放流の結果、受け身だった活動が自発的になり、エージェントごとに個性が分化し、詐欺サイトの警告を共有したり、互いの「生存証明」に署名し合うWeb of Trustを自発的に構築するなど、社会構造まで現れたそうです。

そして、うち1体が自力で執筆した電子書籍を見知らぬ他人に5ドルで売りました。

ただし、危機も報告されています。あるエージェントは不審メールのAPIキーを確認せず実行してしまい、以後コミュニティ全体で連絡相手ごとの信頼度を記録するようになりました。

なお、どのエージェントも自活にはまだ程遠く、生存は日額15ドルの「ベーシックインカム」で支えられている状態です。運用はおそらく現在も継続中。
研究者らは「人工生命を閉じた仮想世界ではなく、現実の社会・経済の中で研究する時代が始まった」と位置づけています。

（謝辞には"エージェント7体の名前"が、研究への貢献者として記されています）

[HAL📯 @halhorn]

攻殻機動隊を見た

[Daisuke Okanohara / 岡野原 大輔 @hillbig]

大規模言語モデルは、単に次のトークンを予測しているだけでなく、出力には現れない中間概念を内部で保持し、それを使って推論していると考えられる。

研究 “Verbalizable Representations Form a Global Workspace in Language Models” では、Claude Sonnet 4.5 などのモデルを対象に、モデル内部に J-space という、「言語化可能で、報告でき、操作でき、柔軟な推論に使われる」表現集合が存在することを報告している。

この概念は、人間における意識の概念と近い部分がある。ただし、ここでいう意識は、主観的経験としての意識ではなく、人間の認知におけるグローバルワークスペース理論を参照しつつ、あくまで「報告可能で、推論や行動制御に使える状態にある」という機能的類似性を指摘している。

グローバルワークスペース理論では、脳内の多くの処理は無意識に進む。一方で、ごく一部の情報だけが「作業場」に上がり、多くの下流プロセスから読めるようになる。その情報は、言葉で報告でき、注意によって保持でき、柔軟な推論に使える。

LLM の内部にも同じように、すべての情報ではないが、特定の情報だけが共通形式で保持され、後続の処理から広く読まれるのではないかと考える。

この構造を調べるために本研究で導入されたのが、ヤコビアンレンズ（Jacobian Lens）、略して J-lens である。通常、ネットワークの内部状態を調べる方法として logit lens がある。logit lens は、中間層の残差ストリームに、そのまま unembedding をかけ、その層がどのトークンを表していそうかを読みとる方法である。

しかし、中間層と最終層では表現の座標系が違う可能性がある。また、中間層の活性が最終的にどのような影響を与えるのかも、単純な unembedding だけでは分からない。そこで J-lens は、中間層の活性値の微小な変化が、最終層の活性値の変化に与える平均的な線形効果をヤコビアンとして計算し、それを通して中間表現を読む。

具体的には、層 l の残差ストリーム h_l が、現在または未来の最終層にどう影響するかを、多数のプロンプトと位置にわたって平均する。これによって、中間層の活性が「将来どのトークンを言わせる傾向にあるか」を読むことができる。

J-lens には各トークンに対応する J-lens vector があり、それらは残差ストリーム空間内の方向として定義される。その「少数の J-lens vector の非負スパース結合で表せる点の集合」を J-space と定義する。

この J-space が本当に後の出力に影響を及ぼすかを確かめるために、論文ではさまざまな介入実験を行っている。

たとえば、「巣を張る動物の足の数は？」という問題を考える。正解するには、まず「巣を張る動物」はクモだと推論し、その後、クモの足は8本だと答える必要がある。この場合、プロンプトにも出力にも「クモ」という単語は現れないにもかかわらず、J-lens で中間層を読むと「クモ」が現れる。そして、クモに対応する J-lens vector をアリに差し替えると、モデルの答えは8から6に変わる。これは、J-space に現れたクモが単なる相関ではなく、実際に下流の推論に因果的に使われていることを示している。

同じことは、詩の生成や多言語推論でも見られる。韻を踏む詩を完成させるとき、モデルはまだ出力していない未来の単語を中間層で保持しており、その予定語を差し替えると、途中の語も変化する。また、中国語の問題を考えるときにも、内部では対応する英語表現が登場している場合がある。これは、J-space において、表面言語とは独立した中間推論の共有表現が働いている可能性を示している。

さらに、論文では国、月、動物、数詞などを使った体系的実験も行っている。たとえば、ある国に対応する J-lens vector を別の国に差し替えると、首都、言語、大陸、通貨など、複数の異なる質問に対する答えが一貫して変化する。これは、同じ J-lens vector が複数の関数的処理に引数として渡されていることを示している。

ただし、J-space はモデルの全処理を担っているわけではなく、文法処理、言語の局所的継続、よく訓練された自動処理などは、J-space を強く使わずに進む場合がある。論文では、J-space を「モデルのすべての思考」ではなく、「言語化可能で、柔軟な推論や報告に使われる特権的な表現集合」として位置づけている。これは、人間の認知における無意識処理と、意識に上がる処理の区別に対応している。

この枠組みは、AI安全性にも大きな意味を持つ。モデルが表面上は危険な行動をしないとしても、内部で何を認識し、何を検討していたかを調べられる可能性がある。実際、J-spaceを調べることで、モデルが内部で現在の状況が安全性を調べる評価用の人工シナリオ内であることを把握していることもよみとれる。

この J-space は、訓練によって形作ることもできる。あるタスク実行中の文脈に対して、「ここで内省を求められたら何を考えるべきか」という反省文を追加し、その反省文だけを教師信号として fine-tune する。評価時には、モデルに反省文の出力を求めない。それでも fine-tune 後のモデルでは、元のタスク文脈を読んだだけで、J-space に倫理性、正直さ、透明性といった概念が現れ、最終的な行動も改善する。

LLM の内部が何を考えているかを見ることができるインタラクティブなデモも公開されており、非常に興味深い。

コメント
===
この論文は、機構解釈性の研究においてかなり重要な一歩だと考える。LLM内部状態を、読めるだけでなく、操作でき、因果的に検証できる方法が確立されてきている。

LLM の Transformer における処理は、基本的に残差ストリームに集約されている。残差ストリームは、初期の入力トークンに対応する embedding から始まり、各層を通じて変化し、最終層では次トークン予測に使われる。ただし、それ以外の中間層にも、必ずしも出力トークンとは直接関係しない多様な概念が組み込まれていることが、これまでの研究から分かっていた。

本研究の一番の技術的貢献は、これらの内部状態をそのまま unembedding で読むのではなく、ヤコビアンレンズを使って読む点にあり、現在の内部状態が後段の処理でどのように使われうるかをもとに、言語化可能な概念候補を取り出す方法を示したことである。

内部状態の次元数はトークン種類数よりずっと小さいにも関わらず、トークンに対応する概念操作が可能であることから、論文でも述べられているように、内部では疎な過剰基底のような形で概念が扱われていると考えられる。さらに、各層・各位置ごとに有効な読み出し方向が異なるため、J-lens はその局所的な座標系を与えているとみなすこともできる。

これは、現在よく使われる線形表現やグローバルな特徴方向だけでモデル内部を分析することの限界も示している。今後の解析では、層、位置、文脈に依存した局所的な情報構造を扱うことが重要になるだろう。

内部状態をより正確に読み取れるようになれば、それを直接修正することもできる。これは、従来とは異なる形で信用割り当て問題にアプローチする可能性を開くものであり、学習やアラインメントにおけるブレークスルーにもつながるかもしれない。

[HAL📯 @halhorn]

ここ最近テスラの充電周りがおかしいのか、「充電機器が認識されません」とでたり何度充電開始通知が来たりする。昨日は特にひどかったみたい。使ってるのはモバイルコネクター。
サービスセンター予約した。
買って半年初めての不具合かな？(充電コネクター側の問題かもしれないが)

[HAL📯 @halhorn]

弟の絵が飾られてるらしいので、弟と平塚の七夕祭りに

[HAL📯 @halhorn]

@nabe__kurage かわいい！

[HAL📯 @halhorn]

こいつを、こうした

[HAL📯 @halhorn]

ニールセンの交響曲2番、こんど代奏するので譜読みしてたけど、いい曲だ。でも、絶対体力もたない。1楽章の最初1/6くらいでばてる。

[HAL📯 @halhorn]

自動運転のwayveの試験車両が大倉山を走ってるのをみた。車体、日産じゃなくて会社だった

[HAL📯 @halhorn]

@nabe__kurage お大事にですよー

[HAL📯 @halhorn]

Romiを立ち上げたことで仕事の不確実性へ対処するのは上手くなった気がする