Shin

◆以前はゲーム開発(Unity)や3DCGなどに取り組んでいましたが、現在はLLMを含むニューラルネットワークのアーキテクチャ研究を行っております。
M1, 松尾研究室コミュニティ研究員
qiita:

[Shin @ShUnityin]

このアカウントはこれから自分が読んだ論文の解説を載せまくるアカウントにします。
間違えることもあると思われます。気づいた時は指摘していただけると嬉しいです。

[Shin @ShUnityin]

SAOの一言で説明出来るのでは

[赤井カラス @akaikarasu666]

ぶっ飛びすぎてて理解が追いつかない

[Asuka@投資・アプリ開発 @Asuka2026_]

Nvidia、もう日本のGDP抜いてるし、大国じゃん。

[Shin @ShUnityin]

今更ながらCross Attentionについて調べている。
LLMにおける画像など、参照するだけで良いトークンはMLPを通す必要がなく、AttentionのKVにだけ入れればよいという話

[Shin @ShUnityin]

KaggleのARC-AGI 2のコンペ、公開コード実行しただけで（現在の）シルバー相当のスコア取れてる人が何人もいて面白い

[Shin @ShUnityin]

ただ、この数倍のコストは、スケーリングするより低いコストで良い精度を出せるらしい。

[Shin @ShUnityin]

最近loop transformerが流行ってきてるが、その原因として、
- モデルが重いと推論時にメモリ消費激しくて困る
- 推論時に遅くてもいいから精度高くしたい。
というのがあるが、その代償として、BPTTの所為で学習コストが数倍になってることを忘れてはいけない

[Shin @ShUnityin]

@Yuto_Shimmyo 論文読んでみたけど、行動の探索部分をA＊とかの古典的アルゴリズムでしてるっぽい？
ARC-AGI 3でもそうだったけど、現状のAIの苦手部分って行動探索よね
何かいい論文ない？

[Shin @ShUnityin]

AIの深い部分に入ろうとするほど、難しい数学と立ち向かう必要がある気がする...

[Shin @ShUnityin]

こういう複雑さの理論が好きです。

https://t.co/x4XoxcLVMo

[Shin @ShUnityin]

論文書ける目処が立ってきました。
NeurlPS 2026を目指していきます。
査読通るかどうか微妙なラインの論文になりそうですが

[Shin @ShUnityin]

メモ

https://t.co/4RXOFW6akL

[Shin @ShUnityin]

Engram は、近傍の 2, 3-gram をキーにハッシュメモリから辞書のように表現を引いてくるモジュールを追加する。
Transformer が記憶力を一部肩代わりでき、全体として精度が上がる。
同じ計算量でMoEを小さくし一部を Engram に回したほうが loss が下がることを示した。
https://t.co/e3QpJFSsuN

[Shin @ShUnityin]

Training Language Models via Neural Cellular Automata

NCAは、特定の変換カーネルを何度も適用する。その結果、特定のパターンを持つ画像が出来る。
それをテキスト形式のデータに変換して、合成データを作成し、LLMに学習させると学習が速くなり最終性能も少し良くなる
https://t.co/XM0RwrAWhO

[Shin @ShUnityin]

感想
繰り返し数を多くして精度を上げたというのはとてもエレガント
BPTTをせずに、1stepの勾配のみで学習できているのは驚き。BPTTはいらないのかもしれない。脳もBPTTしてないし

[Shin @ShUnityin]

Form Follows Function: Recursive Stem Model

RSMは、TRMの改良モデルである。長いBPTTを行わず、繰り返しの最後の1ステップのみ逆伝播して学習を行う。
これによる繰り返し数を大幅な上昇や、その他の工夫を加え、数独タスクで97.5%を達成した。
https://t.co/QFMsJjSbdB

[Shin @ShUnityin]

割と興味あるけど、計算資源がなかなか厳しそう...
h100一台で出来るのかな
他に興味ある人がいれば一緒にやりたい

https://t.co/PbuKRjbz8v

[Shin @ShUnityin]

gpt5.4は無駄に難しい単語や省略表現を大量に使うので説明がわかりづらいですね。

[Shin @ShUnityin]

TLに流れてくるワンピの実写版の動画が、AI生成か分からないとき割とありますね
それだけワンピの実写版のクオリティが高いからかなのか

[Shin @ShUnityin]

LLMのベンチマークの採点にLLM as a judge使うのは、よくないと思うの私だけだろうか？