ぱりー

自称Fintechプログラマー
@keynestpbot

[ぱりー @Woofer30]

避難先
https://t.co/BneoXZzLjH
https://t.co/DFJ02xlZD9

[長谷川珈 Hasegawa Kou @252coffee]

話題の『天幕のジャードゥーガル』をクランチロールの英語字幕で観てみる。
「奥様、旦那様の喪が明けたら」
"When your iddah mourning period for the late master ends"
日本語は喪だが、英訳はイッダというイスラム教の用語を用いている。英語圏ではこれで通じるということかな。面白い（第1話）

[ぱりー @Woofer30]

こりゃ凄いな、、、

[ぱりー @Woofer30]

でも、作品が無いって言ってるのが当のイスラム圏の人たちだからなあ

[ぱりー @Woofer30]

それにしても、イスラムって仏教や儒教や神道からするとめちゃくちゃ巨大な文化圏なのに、なんでそんなに正しく描写した作品が無いものなのか不思議

[ぱりー @Woofer30]

イスラムの「正しさ」が統一されてないから、という意見はちょっと違和感があるな。じゃあ色んな地域のイスラムを描いた多様な作品がありそうに思う。でも実際、イスラム圏発の作品のラインナップ自体が、イスラム圏の規模の割には乏しく感じるよのね。単に日本に入ってこないだけって方が納得感ある。

[木曽崇／Takashi Kiso @takashikiso]

【速報解説】風営法適用外麻雀施設について。
7/1に業界ガイドラインが出されたばかりですが、本日、警察庁から風営法の解釈運用基準の改定が発表されました。新しく定められたのは風営法の【適用外】となる麻雀教授施設。
本解釈運用基準の改定に関して超速報で解説しました。※リンクはリプ欄↓↓

[José Roberto Nuñez @JoserNunez91]

Belgium head coach, Rudi Garcia, on his conversation with Folarin Balogun after the match:

"He came to talk to me. I really liked that. It is not his fault; he is not the one to blame -- that's what I told him. I really appreciate the intention that he came to see me. I appreciate this player."

#monaco #belgium #usmnt #fwc2026 #fifa
📹: FIFA MEDIA

[アラ太郎ちゃん💙 @mousukosikane]

現預金の価値を最大にする方法やな、かつて田中角栄も現預金の渡し方にコツがあると言うてた、同じ額でも使い方一つで何倍もの付加価値を付けることができる、つまり人間理解なんだよ、現預金を上手く使う者は人間理解に長けた者とも言える

[ぱりー @Woofer30]

なんか、「学習」と「コンテキスト」とか分離してるのはデカいAI企業の都合のいいように働いてるよウニ思うんだよなあ。やっぱローカルLLM/プライベートLLMでもって学習を自由にできてこそ、AIが民主化する気がする。

[Daisuke Okanohara / 岡野原 大輔 @hillbig]

大規模言語モデルは、単に次のトークンを予測しているだけでなく、出力には現れない中間概念を内部で保持し、それを使って推論していると考えられる。

研究 “Verbalizable Representations Form a Global Workspace in Language Models” では、Claude Sonnet 4.5 などのモデルを対象に、モデル内部に J-space という、「言語化可能で、報告でき、操作でき、柔軟な推論に使われる」表現集合が存在することを報告している。

この概念は、人間における意識の概念と近い部分がある。ただし、ここでいう意識は、主観的経験としての意識ではなく、人間の認知におけるグローバルワークスペース理論を参照しつつ、あくまで「報告可能で、推論や行動制御に使える状態にある」という機能的類似性を指摘している。

グローバルワークスペース理論では、脳内の多くの処理は無意識に進む。一方で、ごく一部の情報だけが「作業場」に上がり、多くの下流プロセスから読めるようになる。その情報は、言葉で報告でき、注意によって保持でき、柔軟な推論に使える。

LLM の内部にも同じように、すべての情報ではないが、特定の情報だけが共通形式で保持され、後続の処理から広く読まれるのではないかと考える。

この構造を調べるために本研究で導入されたのが、ヤコビアンレンズ（Jacobian Lens）、略して J-lens である。通常、ネットワークの内部状態を調べる方法として logit lens がある。logit lens は、中間層の残差ストリームに、そのまま unembedding をかけ、その層がどのトークンを表していそうかを読みとる方法である。

しかし、中間層と最終層では表現の座標系が違う可能性がある。また、中間層の活性が最終的にどのような影響を与えるのかも、単純な unembedding だけでは分からない。そこで J-lens は、中間層の活性値の微小な変化が、最終層の活性値の変化に与える平均的な線形効果をヤコビアンとして計算し、それを通して中間表現を読む。

具体的には、層 l の残差ストリーム h_l が、現在または未来の最終層にどう影響するかを、多数のプロンプトと位置にわたって平均する。これによって、中間層の活性が「将来どのトークンを言わせる傾向にあるか」を読むことができる。

J-lens には各トークンに対応する J-lens vector があり、それらは残差ストリーム空間内の方向として定義される。その「少数の J-lens vector の非負スパース結合で表せる点の集合」を J-space と定義する。

この J-space が本当に後の出力に影響を及ぼすかを確かめるために、論文ではさまざまな介入実験を行っている。

たとえば、「巣を張る動物の足の数は？」という問題を考える。正解するには、まず「巣を張る動物」はクモだと推論し、その後、クモの足は8本だと答える必要がある。この場合、プロンプトにも出力にも「クモ」という単語は現れないにもかかわらず、J-lens で中間層を読むと「クモ」が現れる。そして、クモに対応する J-lens vector をアリに差し替えると、モデルの答えは8から6に変わる。これは、J-space に現れたクモが単なる相関ではなく、実際に下流の推論に因果的に使われていることを示している。

同じことは、詩の生成や多言語推論でも見られる。韻を踏む詩を完成させるとき、モデルはまだ出力していない未来の単語を中間層で保持しており、その予定語を差し替えると、途中の語も変化する。また、中国語の問題を考えるときにも、内部では対応する英語表現が登場している場合がある。これは、J-space において、表面言語とは独立した中間推論の共有表現が働いている可能性を示している。

さらに、論文では国、月、動物、数詞などを使った体系的実験も行っている。たとえば、ある国に対応する J-lens vector を別の国に差し替えると、首都、言語、大陸、通貨など、複数の異なる質問に対する答えが一貫して変化する。これは、同じ J-lens vector が複数の関数的処理に引数として渡されていることを示している。

ただし、J-space はモデルの全処理を担っているわけではなく、文法処理、言語の局所的継続、よく訓練された自動処理などは、J-space を強く使わずに進む場合がある。論文では、J-space を「モデルのすべての思考」ではなく、「言語化可能で、柔軟な推論や報告に使われる特権的な表現集合」として位置づけている。これは、人間の認知における無意識処理と、意識に上がる処理の区別に対応している。

この枠組みは、AI安全性にも大きな意味を持つ。モデルが表面上は危険な行動をしないとしても、内部で何を認識し、何を検討していたかを調べられる可能性がある。実際、J-spaceを調べることで、モデルが内部で現在の状況が安全性を調べる評価用の人工シナリオ内であることを把握していることもよみとれる。

この J-space は、訓練によって形作ることもできる。あるタスク実行中の文脈に対して、「ここで内省を求められたら何を考えるべきか」という反省文を追加し、その反省文だけを教師信号として fine-tune する。評価時には、モデルに反省文の出力を求めない。それでも fine-tune 後のモデルでは、元のタスク文脈を読んだだけで、J-space に倫理性、正直さ、透明性といった概念が現れ、最終的な行動も改善する。

LLM の内部が何を考えているかを見ることができるインタラクティブなデモも公開されており、非常に興味深い。

コメント
===
この論文は、機構解釈性の研究においてかなり重要な一歩だと考える。LLM内部状態を、読めるだけでなく、操作でき、因果的に検証できる方法が確立されてきている。

LLM の Transformer における処理は、基本的に残差ストリームに集約されている。残差ストリームは、初期の入力トークンに対応する embedding から始まり、各層を通じて変化し、最終層では次トークン予測に使われる。ただし、それ以外の中間層にも、必ずしも出力トークンとは直接関係しない多様な概念が組み込まれていることが、これまでの研究から分かっていた。

本研究の一番の技術的貢献は、これらの内部状態をそのまま unembedding で読むのではなく、ヤコビアンレンズを使って読む点にあり、現在の内部状態が後段の処理でどのように使われうるかをもとに、言語化可能な概念候補を取り出す方法を示したことである。

内部状態の次元数はトークン種類数よりずっと小さいにも関わらず、トークンに対応する概念操作が可能であることから、論文でも述べられているように、内部では疎な過剰基底のような形で概念が扱われていると考えられる。さらに、各層・各位置ごとに有効な読み出し方向が異なるため、J-lens はその局所的な座標系を与えているとみなすこともできる。

これは、現在よく使われる線形表現やグローバルな特徴方向だけでモデル内部を分析することの限界も示している。今後の解析では、層、位置、文脈に依存した局所的な情報構造を扱うことが重要になるだろう。

内部状態をより正確に読み取れるようになれば、それを直接修正することもできる。これは、従来とは異なる形で信用割り当て問題にアプローチする可能性を開くものであり、学習やアラインメントにおけるブレークスルーにもつながるかもしれない。

[ののわ @nonowa_keizai]

副首都構想、議員定数削減、皇室典範、国旗損壊罪って全部マジでどうでもいいんですけど今の国会は一体何やってんですかね

[ぱりー @Woofer30]

逆に、日本人がイスラム圏のことをちゃんと理解するのはめちゃくちゃ大変だし、正直受け入れ難いことも割とあるんだってことを頭に入れてほしい。
ジャードゥーガルのような作品を作れる人ってのは本当に稀なんだよね。

[ぱりー @Woofer30]

ムスリムの人たちジャードゥーガル見て日本に来たくなるかもしれないけど、色々と困難があることは言っておきたい。日本はイスラム圏と根本的に異文化で。むしろモンゴル人の方が圧倒的に日本に馴染みやすい。だから、カラコルムに連れてこられたシタラのような経験をすることになる。

[さわ @Sawarsenal]

清水エスパルスだけ来場者プレゼントこれらしい

[ぱりー @Woofer30]

そういえば昔ロンドン行ったら、大人たちが仕事の昼休みに輪になってボール蹴ってて、サッカー文化の根付き具合いが全然違うなって思った記憶

[ぱりー @Woofer30]

公園でサッカー禁止なのは主に東京とかで、地方はそうでもない気もします

[ももなっち🍑 @petinfome]

公園でサッカー禁止の国がサッカー強くなれるわけないやろ

[エウロパペンギン @europapenguin]

『天幕のジャードゥーガル』、ムハンマド(トゥースィー)がトルイとソルコクタニの息子フレグのもとで天文台を建設することになるということは、シタラが復讐を選択せずに家庭教師としてソルコクタニに仕え続けていたらフレグのもとでムハンマドに再開できたかもしれないということでは(絶望)

[健＠侍魂 @sm20010118]

ゴルゴ13 買いすぎて、Amazon のアカウント完全に閉鎖とか笑えない

アカウント完全閉鎖は、私にとってもはや死の宣告にも等しい。

このままでは、リアルでゴルゴに消された初めての日本人になっちゃうかもしれない！！！

[Mikuni @Yulabsinthe0]

私の事前情報が「ロシアから来て、日本で暮らしている人」くらい雑に伝わっていたことで
初対面の方から心配と冗談半々くらいに
「もしかして、プーチンから逃げて来られたんです？」
って聞かれて笑っちゃった
も〜😂一体ロシアをどんな国だと思ってるのよ
逃げ切れるわけないじゃん

[彩サフィーヤ @Agiasaphia]

というかサウジアラビアが舞台のアニメが数年前の日曜の朝に放送されてたんですけど、今期放送のあのアニメで初めて中東が舞台のまともなアニメを見たらしい中東好き、アニメおたくの皆さんの知識と関心は大したもんですね。いやはや感心してしまいますよ。
https://t.co/CUluhDUced

[でこん @decon532]

「今川焼き」が正しい表記みたいな前提の作品が出てきたら「回転焼きだろうが」ってキレる
がネット上の論戦に留まらず人死にが出るリアル聖戦に発展しかねないからね