那須音トウ / Nasune Tou

画像認識AIを研究してた人。漫画・ゲーム・ご飯が好き。たまにAI話も。

[那須音トウ / Nasune Tou @NASNETou]

どうも、那須音トウです🕸️
漫画とゲームとご飯が好き。 たまにAI話も取り扱いつつ、VTuberっぽい空気感でやってます！ よかったら適当に絡んでね～！

[那須音トウ / Nasune Tou @NASNETou]

「つぶあんもこしあんも美味い」をモットーにしてきたけど、鈴懸のきんつばはつぶあん / 言問団子の最中はこしあん、みたいな“ここはこれ”の意図があるお菓子もあって、あんこ派閥争いはむずい。

[野口祥汰@【スラ無】第①巻発売中 @nstime23]

ヒロアカアシスタントしてた時に使ってたセットアップ

これあるからめちゃくちゃ早く仕上げできてる

[Chen Change Loy @ccloy]

Proud to share our lab’s @MMLabNTU work Log-linear Sparse Attention (LLSA) - a trainable sparse attention mechanism that reduces attention complexity from O(N²) to O(N log N), making diffusion transformers much more efficient.

Also, special shout-out to the first author @zhouyifan1107 for presenting the poster in full costume - truly above and beyond. The level of dedication is impressive! 👏

#CVPR2026 #DiffusionModels #EfficientAI #SparseAttention

[那須音トウ / Nasune Tou @NASNETou]

あ、ResNetとYOLOだ。

[#CVPR2026 @CVPR]

The PAMI TC awards are here #CVPR2026. Congratulations to all the winners for your contribution to the research community 🏆

[#CVPR2026 @CVPR]

Finalists 👏

[#CVPR2026 @CVPR]

Best Student Paper & Honorable Mention

[#CVPR2026 @CVPR]

Honorable Mentions👏

[#CVPR2026 @CVPR]

Announcing the official #CVPR2026 Best Paper Award Winner! 🏆 Congratulations to the authors for their landmark contributions to the field!👏👏

[暇な研究者 @kanejaki]

CVPR awards

[ムナカタ @munakata301]

今回のカラー口絵！
どんっだけ強力なランタンなんだ

[ムナカタ @munakata301]

よろしくお願いします！

[那須音トウ / Nasune Tou @NASNETou]

なんかいるらしいです。
表舞台はウン年ぶり。CV勉強会に至っては初発表。準備ガンバルゾー……！

[コンピュータビジョン勉強会＠関東 @kantocv]

前編、後編の発表者は勝手ながら以下のように割り振らせていただきます。
前編：7/18(土)
- Ito
- Kenji
- nasnetou
- welldone
- lychee1223_Lab
- alfredplpl

後編：8/29(土)
- takmin
- takubon
- こじま
- tomoaki_teshima

変更の希望がある方はご連絡ください。#cvsaisentan

[コンピュータビジョン勉強会＠関東 @kantocv]

前編、後編の発表者は勝手ながら以下のように割り振らせていただきます。
前編：7/18(土)
- Ito
- Kenji
- nasnetou
- welldone
- lychee1223_Lab
- alfredplpl

後編：8/29(土)
- takmin
- takubon
- こじま
- tomoaki_teshima

変更の希望がある方はご連絡ください。#cvsaisentan

[Daisuke Okanohara / 岡野原 大輔 @hillbig]

MAI-Thinking-1のテクニカルレポートには、ベンチマーク上でSonnet級に近いモデルを一から開発するための知見が書かれている。特に、単一モデルの性能だけでなく、継続的にモデルを改善する能力を重視しており、大規模モデル開発の工程・運用・判断基準について興味深い記述が多い。

開発方針として、能力は継承されるべきものではなく、学習によって獲得されるべきものだという考えをとっている。また、複雑な特殊技法ではなく、単純でスケールする学習レシピと信頼できるデータを重視し、すべての技術採用は検証可能でなければならないという立場をとっている。

モデルは1T総パラメータ、35BアクティブパラメータのMoEであり、8K GB200 GPU上で30Tトークンの事前学習と3.55Tトークンの中間学習を行っている。学習には、公開データとライセンス済みデータを使っている。

ベンチマークでは、SWE-Bench Proで52.8%、AIME 2025で97%などの性能を示しており、STEM reasoningとcodingを重視していることが分かる。

アーキテクチャは、現在の強いモデルで使われる標準的な構成に近く、Decoder-only Transformer、local/global attention、RMSNorm、SwiGLU、GQAなどを採用している。MoE層とDense FFN層を交互に挟む構成が実時間効率で有利だったため、この構成を採用している。

MoEにはLatent MoEを使っている。また、学習時にはDropless MoEを採用している。通常のMoEでは、expert capacityを超えたトークンをドロップする場合があるが、これが微妙なcausal leakage問題や実験結果の歪みを生む可能性がある。そのため、可変メッセージサイズのall-to-all通信を使い、トークンをドロップしないDropless MoEを採用している。

この論文では、他であまり詳細が述べられない開発時の方針や評価方法の詳細が書かれている。

たとえば、Scaling Ladderを用いて、小さいモデルでの評価結果をそのまま採用して大規模化するのではなく、複数のモデルサイズを用意し、手法のスケール特性を確認している。モデル系列として、3.9B、13B、30B、58B、100B、159B、615B、1015B総パラメータのモデルを用意し、小〜中規模で検証したうえで、大規模でのスケール特性を見ている。この中で、大規模化するにつれて小規模で得られた結果が逆転する例も見られた。たとえばデータmixでは、小規模ではSTEM-heavy mixが良かった一方で、中〜大規模ではSTEM評価においてもcode-heavy mixの方が良いという結果が得られている。

また、アーキテクチャやデータ改善を単純なloss差ではなく、Efficiency Gain, EGで評価している。EGは、候補手法が達成した損失にベースラインが到達するには、何倍の計算量が必要かを表す指標である。さらに、FLOPs基準のEGだけでなく、実時間基準のEGTimeも参照している。実装上の通信やメモリ効率が悪ければ、FLOPsでは勝っていても実時間では負ける場合がある。たとえば、MoEを全層に入れる構成とinterleaved MoE + dense構成を比較すると、後者の方が実時間効率で優れており、採用に至っている（同じFLOPsではMoE onlyがよいが）

pretrainingにおいては、held-out NLL、すなわち負の対数尤度による評価を重視している。精度評価は、プロンプト形式やジャッジモデルなどに影響されやすく、安定しないためである。一方、NLLは安定して高速に評価できる。
pretrain開発時に、合計で約40個のNLL評価用の内部ベンチマークを持ち、単一の目標値にまとめるときは、次の重みを使っている。
コード: 0.5
STEM: 0.175
数学: 0.175
一般知識: 0.1
多言語: 0.05
ここから、MAIは事前学習段階からコードとreasoning、特に数学・STEMをかなり重視しているといえる。

中間学習後、RLでは事前にreasoning traceを与えず、RLによって推論能力を獲得させている。
STEM、agentic coding、安全性・helpfulnessの3つのspecialist modelを訓練し、その後、それらを元のモデルにSFTで蒸留して統合している。長くRLで性能を伸ばし続けられるように、学習方法にも工夫が加えられている。
RLでは、4096 chipsが推論・rollout生成用、768 chipsが学習用に使われており、推論と学習の比はおよそ5:1である。学習ステップ数の詳細はないが、数千ステップと書かれている。
RLではまず、現在のモデルにとって学習に適した難易度の問題を選ぶ。同じ問題に対して、成功するrolloutと失敗するrolloutが混ざるような問題を探す。これを行うために、最初に少数のrolloutを投げ、pass rateが適切な範囲に入るかを調べる。

次に、候補選別を通った問題に対して、追加で128本のrolloutを行う。各rolloutは採点され、全体のpass rateが計算される。pass rateが事前に決めた範囲に入っていれば、正規化advantageを計算し、GRPOで更新する。

長文能力については、直前のmid-trainingと同じデータmixを使い、それを目標長である256Kにre-packして作る。アブレーション結果から、短いコンテキストで効率よく学習し、最後に少量の長文extensionを追加すればよいと見ている。ここも詳細な記述が多く参考になる。

コメント
===
フロンティアモデルに匹敵するモデルの学習詳細が述べられているという点で有用である。特に、具体的な手法そのものよりも、学習方針、例えば、NLLで評価すること、Scaling Ladderを構築して評価すること、技術採用を検証可能にしていくことなどは、他で書かれていることが少なく参考になる部分が多い。

特に、事前学習は作ったモデルがどの程度良いか、採用を評価するには、後続タスクまで作らないと難しい場合があり、単純ではない。今回のテクニカルレポートには、その点で参考になる部分が多いのではと考える。

気になった点として、specialistを蒸留する際、最近はon-policy蒸留も増えているが、このレポートでは通常のSFTを採用している理由は特に書かれていなかった。複数のspecialistの能力を安定に統合するため、単純でスケールしやすい方針を優先したのかもしれない。

[しゅんけー「📕Pythonで学ぶ画像生成」発売中！ @shunk031]

📣 Layer-wise image generation without fine-tuning? 𝙔𝙚𝙨! Inspired by Japanese rice transplanting, 𝙏𝘼𝙐𝙀🌾 transplants and cultivates latent noise into coherent image layers #CVPR2026
---
⏰ Jun. 6 (Sat.), 7:30 - 9:00
📍Poster #46
📷 https://t.co/0a3hxjRY2n

[那須音トウ / Nasune Tou @NASNETou]

ヒトナー。面白おじさん枠だと思ってたハム大臣に、たった1話で完璧な深みが出てしまった。漫画がうますぎる

液体燃料ロケットとは全然違うけどAI分野も似た構図で、特徴量抽出とかカーネル法とかをガン無視して、狂ったデータ量と演算性能が全てを薙ぎ倒したので、「わかる〜」みたいな顔になってる

[toshi_k @toshi_k_datasci]

みてる（　・＿・）｜世界最大級のAIコンペ「Kaggle」を制した東芝の研究者たち――最高位「Grandmaster」が語る挑戦の先｜Toshiba Clip日本語サイト https://t.co/1sqYWnXgcy

[那須音トウ / Nasune Tou @NASNETou]

@raven_38_ まさにそこは悩んだところで……

https://t.co/rQ5k1O3u1F
h5-indexが2位は yes です。問題はh5-indexが影響力かですが、「近年の知名度/影響力を見る指標の一つ」という意図のもので、影響力っちゃ影響力くらいの感じかなと思います。(そこで悩んだ結果、出典明記+幅を持たせた表現にしています)

[那須音トウ / Nasune Tou @NASNETou]

いよいよCVPR。視覚的な認識・理解・生成をコンピュータ上で扱う、コンピュータビジョン分野最大級の国際会議。

近年はAI研究の中心地の一つとして存在感を増していて、現時点でNatureに次ぐ2位の影響力ともされるらしい。マジで？
https://t.co/DbmnwVHbns