Shumpei Takezaki

画像生成に興味がある九大D3 / バイオ&医療AIにも興味あり
PhD student of Kyushu University / Medical imaging, Generative Model

[alphaXiv @askalphaxiv]

What’s the most frustrating part of reading a research paper?

For us, it’s constantly jumping back and forth between the text and its citations.

Now, following citations feels seamless.

You can hover over an in-text citation to preview the referenced paper, jump directly to the full citation, and return to where you left off with a single click.

Try it now!

[Haruka Kiyohara @aiueola_]

ありがたいことに、今年度のLinkedIn PhD Awardに採択していただきました！😊

これまでお世話になった船井奨学金、Quad Fellowshipに続き、PhD4年目の今年はLinkedInの奨学金で全額サポートをいただきます。

大規模推薦システムや言語モデル(特にRAG)の性能と推論速度の両立に取り組みます🔥

[Shumpei Takezaki @shumpeiMaxwell]

@plotarmordev Yep, that’s the idea. With plain MSE, the easier SigLIP part tends to dominate. Focal loss puts more weight on the harder VAE errors so they don’t get ignored.

[Shumpei Takezaki @shumpeiMaxwell]

Twins: Learn to Predict Unified Representations with Focal Loss

TL;DR: Twins concatenates SigLIP2 and FLUX.2 VAE features into one visual representation, then uses a regression focal loss to balance their learning—unifying understanding, reconstruction, and generation.
https://t.co/ohwboTSr3r

[Shumpei Takezaki @shumpeiMaxwell]

dRAE: Representation Autoencoder with Hyper-Spherical Codes

TL;DR: By quantizing feature directions rather than Euclidean distance, dRAE avoids codebook collapse, scales to 131K tokens, and improves reconstruction, multimodal understanding, and image generation.
https://t.co/CagJaECEws

[Shumpei Takezaki @shumpeiMaxwell]

Spectral Prior for Reducing Exposure Bias in Diffusion Models

TL;DR: Exposure bias is frequency-dependent. SPA aligns intermediate predictions with model-, timestep-, and channel-specific spectral priors, improving diffusion and flow models without retraining.
https://t.co/C9VZ10FWPr

[Shumpei Takezaki @shumpeiMaxwell]

Rethinking Layer-Wise Information Allocation for Vision Foundation Model Adaptation

TL;DR: PIB improves visual prompt tuning by controlling what each Transformer layer preserves or discards, boosting transfer and robustness across 34 tasks with only ~0.35% trainable parameters.
https://t.co/bf9zZPlj5V

[Daisuke Okanohara / 岡野原 大輔 @hillbig]

Kimi K3は、フロンティアモデルに匹敵する性能を持つオープンウェイトモデルである。Technical Reportが公開されたので、重要な点をまとめる。

Kimi K3は、総パラメータ数2.8T、活性パラメータ数104BのMoEモデルである。アーキテクチャ、データ、ハイパーパラメータ、学習手法を総合的に改善し、Kimi K2と比べて、同じvalidation lossに到達するために必要な学習計算量を約2.5分の1にしたと主張している。

* アーキテクチャ
Kimi K3のアーキテクチャは、系列方向、深さ方向、幅方向という三つの情報流を、それぞれ拡張するように設計されている。

系列方向では、Kimi Delta Attention（KDA）とMulti-head Latent Attention（MLA）を組み合わせる。モデル全体は93層からなり、基本的には3層のKDAと1層のGated MLAを一つのブロックとして繰り返す。

KDAは、過去の履歴を固定サイズの状態行列へ圧縮する線形アテンションである。従来のDeltaNet系の構造を拡張し、過去の情報をどの程度保持するかをチャネルごとに調整できる。

KDAの基になったKimi Linearでは、忘却率が極端に小さくなる可能性があり、チャンク並列計算において累積減衰の逆数が過大になり、オーバーフローなどの数値不安定性を引き起こす問題があった。Kimi K3では、対数減衰に下限を設けている。
この変更により、以前は特殊なposition-pair計算が必要だった対角タイルも、Tensor Core上の密行列積として処理できるようになった。数式上は小さな変更だが、GPUカーネルを単純化し、学習速度を改善する重要な工夫である。

MLA層では、RoPEなどの明示的な位置符号化を使っていない。Kimi Linearでも示されていたように、位置や順序に関する情報は主にKDA側が担い、MLAは主として内容に基づくグローバルな情報検索を担当する。
この役割分担によって、コンテキスト長を拡張する際に、RoPEの周波数調整や補間を行う必要がない。

ただし、位置符号化の変更が不要だからといって、学習なしで100万トークンを利用できるわけではなく、Kimi K3は、8K、64K、256K、1Mと段階的にコンテキスト長を伸ばして学習している。

技術報告では、8Kから64Kまでをpre-training中に実行し、学習の最終段階であるcooldownにおいて256K、1Mに拡張したとしている。

次に特徴的なのが、深さ方向の情報流を改善するAttention Residualsである。

通常のTransformerでは、過去の層の情報が残差接続によって順番に加算され、一つのhidden stateへ集約される。深さ方向で見ると、過去の情報を単一の状態へ圧縮していくRNNのような構造になっている。

Attention Residualsでは、各層が過去の層やブロックの表現に対してattentionを行い、必要な深さの表現を選択的に取得する。

この実現にあたり、各層は、学習可能なpseudo-queryベクトルを持つ。このqueryは入力から計算されるのではなく、層ごとに保持される学習可能なパラメータである。一方、keyとvalueには、各入力トークンに対する過去の層出力が使われる。

pseudo-queryは、「この層がどのような種類の表現を必要としているか」を表す検索テンプレートとみなせる。query自体は入力に依存しないが、keyは入力に依存するため、実際のattention weightはトークンごとに変化する。

独立した学習可能ベクトルをqueryとして使うことで、各トークン、各層について大きなquery projectionを計算する必要がなくなる。また、Attention Residualsによって作られる現在層への入力からqueryを生成しようとした場合に生じる循環依存も避けられ、実装が単純になる。

Kimi K3では、全93層をおおむね12層ずつのブロックに分け、過去の全層ではなく、主としてブロック単位の表現にattentionするBlock Attention Residualsを用いている。これにより、過去の全層出力を保持するためのメモリと、pipeline parallelism時の通信量を削減している。

幅方向では、Stable LatentMoEを用いる。

Kimi K3には896個のrouted expertがあり、各トークンについて16個が選ばれる。ただし、各expertへ7168次元のhidden stateをそのまま送るわけではなく、expertへ入る前に3584次元のlatent空間へ圧縮し、expert処理後に元の幅へ戻す。一方、全トークンに共通して使われる2個のshared expertは、元の全幅で動作する。

Kimi K2では384個のrouted expertから8個を選択していたのに対し、Kimi K3ではexpert候補数が約2.3倍、同時に活性化するexpert数が2倍になっている。sparsity ratioはKimi K2の48に対してKimi K3は56であり、似たレベルである。より多くの専門的なexpertを組み合わせながら、latent空間を使うことで計算量と通信量を抑えている。

さらに、routed expertの集約後にRMSNormを挿入し、SwiGLUの代わりにSiTU-GLUを導入している。SiTU-GLUは、SwiGLUの原点付近における性質を保ちながら、大きな入力をtanhによって滑らかに飽和させる。Kimi K3の設定では、各出力座標の絶対値が最大100に抑えられる。大規模かつ極端に疎なMoEにおけるactivation explosionを防ぐための設計である。

また、expert負荷の均衡にはQuantile Balancingを使う。
従来方式では、過剰に使われたexpertのbiasを少し下げ、使われていないexpertのbiasを少し上げる更新を繰り返していた。しかし、896個のexpertを扱う場合、このような固定幅の更新では追従が遅く、負荷が振動しやすい。

Quantile Balancingでは、各expertが目標数のトークンを受け取るように、router scoreのmarginの分位点から次のbiasを直接推定する。

実際には、全marginを一箇所へ集めるのではなく、expertごとのhistogramをall-reduceし、全体の分位点を近似する。

さらに、Kimi K3は画像と動画を事前学習の段階から統合している。画像・動画のencoderには、約4億パラメータ、27層のMoonViT-V2を用いる。Kimi K3では、SigLIPなどで事前学習したvision encoderを接続するのではなく、vision encoderも言語モデルと同時にscratchから学習している。

技術報告では、SigLIPで初期化したencoderよりも、next-token predictionによってscratchから学習したMoonViT-V2の方がgradient normが安定し、最終的なvision評価も同等だったと報告している。

事前学習
===
事前学習は8K contextから始まり、その後64Kへ拡張される。さらに、学習の最終段階であるcooldownにおいて、256K、1Mへ伸ばしている。

一般的には4K~8Kなのに対し、64Kまでが事前学習の範囲とされているのが興味深い。どの規模でされたかの証明は示されていない。

自然な長文や動画には、重複、壊れたファイル、無効なlog、途中で切れたデータ、類似したframeの連続などが多く含まれる。そのため、長文専用のcleaning pipelineを用いて、重複除去、品質判定、構造検証を行う。

また、本当に長く一貫した文書や動画は短いデータに比べて少ないため、cooldownでは長文データを相対的にupsampleする。

ただし、長いsequenceを見せるだけでは、モデルが近くの情報だけを利用し、遠距離の情報を無視する可能性がある。そこで、複数の文書やsub-taskを並べ替えて連結し、100万トークンの中に分散した情報を集めなければ解けないような合成課題も作っている。

事後学習
===
事後学習は、SFT、RL、Multi-Teacher On-Policy Distillationの三段階で行う。

まずSFTによって、tool callingやagent trajectoryの基礎を学習する。

次に、general tasks、general agents、coding agentsという三領域について、それぞれlow、high、maxの三段階のreasoning effortを学習する。これにより、合計9個の専門policyが作られる。

まず、特定のエージェント実装への過学習を防ぐため、ツール、system prompt、memory、context management、subagentなどを交換可能な部品として構成する。Kimi CodeやClaude Code、Codexに近い形式だけでなく、未知の構成でも学習させることで、特定のハーネスに依存しない能力を目指している。

RL課題の生成には、自己拡張する知識グラフを利用する。数学、物理、化学、コンピュータ科学などの大分類から始め、エージェントがWeb検索を行いながら、より細かな概念へ分解する。そこから論文、ブログ、コードリポジトリなどを収集し、知識問題、コーディング、視覚推論などの課題を合成する。

学習対象は多岐にわたる。検索や法律、金融、データ分析などの専門業務に加え、画像をPythonでcrop、zoom、変換しながら解く視覚課題、CUDAやTritonを用いたGPUカーネル最適化なども含まれる。

また、Gmail、Slack、Notionなどを模した環境を構築し、複数日にわたるpersonal assistant課題も学習する。一つのrolloutが数千回のtool call、数百万context tokensに達することもある。

Autonomous Execution Tasksでは、正解手順を与えず、初期状態、目標、制約、ツール、実行予算だけを与える。モデルは自ら計画し、ツールを使い、失敗から回復し、最終状態を外部verifierに評価させる。公開verifierだけに過適合することを防ぐため、モデルには見えないhidden verifierも用いる。

Web開発では、Webサイト、ゲーム、3D、データ可視化、full-stack applicationなどを生成する。buildの成否、実行時error、機能、見た目、操作結果を評価し、画像を貼り付けただけの偽装などは報酬をゼロにする。

その後、9個の専門モデルを一つに統合するため、Multi-Teacher On-Policy Distillation（MOPD）を行う。

RL学習環境
===

長期エージェントRLでは、一つのtrajectoryが数百から数千回のtool callを含み、累積context tokensが数百万に達することもある。

すべてのtrajectoryの終了を待つと、一部の非常に長いtrajectoryが学習全体を待たせる。そのため、一定割合のrolloutが完了した時点でpolicy updateへ進み、未完了trajectoryは次のiterationで再開するpartial rolloutを使う。

未完了trajectoryを再開するには、モデル側のKV cacheと、外部環境側のsandbox stateの両方を保持する必要がある。

Kimi K3では、GPUからevictされた長いprefixをCPU DRAM上のexternal KV cache poolへ保存する。また、Firecrackerを用いたmicroVM sandboxであるAgentENVを使い、sandboxをpause、resume、fork、snapshotできるようにしている。

報告では、checkpointが最短133ミリ秒、resumeが最短49ミリ秒であり、学習と評価全体で約5122万個のsandboxが作成されたとしている。

学習基盤
===
KDAでは、各sequence segmentの作用を、入力状態に作用するtransitionと、zero stateから生成される局所状態に分解する。

これらの変換は結合可能であるため、prefix scanによって各GPUに必要な初期状態を計算できる。

MoE学習にはMoonEPを用いる。必要に応じてexpertを別rankへ動的に複製し、すべてのexpert parallel rankが正確に同数のトークンを処理するようにする。技術報告では、各rankに最大E/R個のredundant expert slotを確保すれば、完全に均衡した割り当てが常に存在することを示している。ここでEはexpert数、Rはexpert parallel rank数である。
完全に負荷を均衡できれば、遅いrankを待つ時間がなくなるだけでなく、通信bufferや計算shapeを固定でき、各層でhost側へ同期してtoken数を確認する処理も不要になる。

推論
==
推論時には、KDAの固定サイズ状態と、MLAの系列長に比例するKV cacheを、同じpaged cache managerで管理する。

MLAは細かいtoken境界でprefixを再利用する一方、KDA stateは大きいため、conversation turnなどの限られた境界でcheckpointする。

投機的デコーディングでは、draft tokenごとに巨大なKDA stateを保存せず、小さなprojection inputだけを保存する。

draft tokenの一部がrejectされた場合は、acceptされた部分についてKDA stateをGPU上で再計算し、正しい状態へ戻す。

性能評価
===
性能評価では、Kimi K3は総合的にClaude Fable 5とGPT-5.6 Solの直下に位置し、技術報告で比較された多くのオープンモデルおよびプロプライエタリモデルを上回っている。

特に、コーディング、検索、調査、長期ツール利用を必要とする課題で強い。
一方、Humanity’s Last ExamやCritPtのような研究レベルの推論、OSWorld 2.0のような難しいcomputer use、長期的な行動規律や複雑な協調では、最上位モデルとの差が残っている。

なお、技術報告では、以下の情報は公開されていない。

総事前学習トークン数、最終的なデータ配分、総学習FLOPs、使用GPU数、学習期間、実測MFU、各context lengthでの学習トークン数である。

コメント
===
Kimi K3は、現時点で最も強力なオープンウェイトモデルの一つであり、そのアーキテクチャ、学習方法、システム実装をまとめた重要な資料である。

新技術があるというよりも、必要な技術を幅広く取り込み、それぞれを大規模モデルで実際に動作するまで作り込んでいるという印象が強い。

モデル開発をしている立場から、特に印象的だった点は次の二つである。

・Kimi K2に引き続き、事後学習におけるエージェントRL環境へ非常に大きな投資をしている。テキスト、画像、コード、Web、業務アプリケーション、GPU kernelなどを含む多様なエージェント課題を合成し、長期間にわたるtool useと試行錯誤を学習させている。この部分については、改めて詳しく紹介したい。

・十分なablation studyが提供されていないため、それぞれの技術選択が、どのような比較や判断に基づいて行われたのかは分からない部分が多い。KDA、Attention Residuals、Stable LatentMoE、SiTU-GLU、Quantile Balancing、Per-Head Muonなどの個別技術が、最終性能や学習効率改善にどの程度寄与したのかは分解されていない。

実際には、内部実験の結果、学習安定性、GPUカーネルの効率、分散学習時の通信、メモリ制約など、さまざまな要因を総合して選択したと考えられる。

[Kimi.ai @Kimi_Moonshot]

Releasing the model weights and technical report of Kimi K3.

Kimi K3 is our most capable model: a 2.8T MoE model with native visual understanding and a 1M-token context window.

New model architecture: 2.5x the intelligence per unit of compute, not just more params.

Alongside Kimi K3, we're opening up more of the stack behind it — high-performance attention kernels, MoE communication library, and infrastructure for running agent environments at scale.

Model weights: https://t.co/7m7eEg6Y0B
Tech report: https://t.co/yeu6cjpMCT
Tech blog: https://t.co/YTfiMSNM1f

[Guang Li @Guang_LI0]

🎉 Excited to share that our workshop proposal has been accepted to ACCV 2026 (@ACCVConf)!

More details coming soon. Stay tuned!

[Sophia Tang @_sophia_tang_]

Really appreciate the nice overview from @askalphaxiv of our recent work in expanding generative flows and flow maps! 🌊 We’re super excited about all the diverse modalities and problems this framework can be applied to!! :D

Stay tuned for a full thread and code release very soon 🌟

[Jeff Cui @jeffacce]

We benchmarked 5 pretrained encoders as frozen control representations. DINOv2 and WebSSL win consistently. Rankings are stable across tasks and policy heads, suggesting that visual representation remains an important consideration for control.

[Shumpei Takezaki @shumpeiMaxwell]

Mage-Flow: An Efficient Native-Resolution Foundation Model for Image Generation and Editing

TL;DR: Mage-Flow co-designs a lightweight Mage-VAE and a 4B MMDiT for fast native-resolution generation and editing. Its 4-step model generates 1024² images in 0.59s on an A100 while remaining competitive with much larger models.
https://t.co/ftXaGZ6e7Y

[Shumpei Takezaki @shumpeiMaxwell]

Streaming Multi-Agent Autoregressive Diffusion Model with World State Registers

TL;DR: Shared World State Registers give multi-agent video diffusion persistent memory of agents and scenes, improving long-horizon consistency and cross-view coherence in Minecraft.
https://t.co/Lqb1Upmacp

[Haiyu Wu @HaiyuWu1]

Recent discussions about open-sourcing make me feel that I should go back and revisit these important open-source works in representation learning that pushed the field forward and eventually made vision foundation models so useful in applications.

These are the papers that come to mind. Feel free to correct my opinions and share any important papers that I may have missed.

MoCo v1 (2019-11) – ResNet
Method: contrastive loss + a queue of samples from previous batches for negative pairing + EMA-based weight updates
# of training branches: 2
Effect: EMA-based weight updates became an important training paradigm in later representation learning algorithms, but this work used EMA only to produce stable embeddings for negative samples.

SimCLR (2020-02) – ResNet
Method: contrastive loss + more augmentations + an MLP projector to capture the effects of augmentations
# of training branches: 2
Effect: An MLP projector became the gold standard in representation learning algorithms.

BYOL (2020-06) – ResNet
Method: positive pairs only + an asymmetric architecture + stop-gradient + SimCLR augmentations + EMA
# of training branches: 2
Effect: Probably the first representation learning method without negative pairs. It inspired DINO and probably JEPA in terms of architectural design.

SwAV (2020-06) – ResNet
Method: global/local views + SimCLR augmentations + class prototypes
# of training branches: 2
Effect: Its global/local-view training became the standard setting in later representation learning methods.

SimSiam (2020-11) – ResNet
Method: BYOL without EMA + a constant learning rate for the predictor
# of training branches: 2

Barlow Twins (2021-03) – ResNet
Method: global views + SimCLR augmentations + batch-level covariance optimization
# of training branches: 2
Effect: The optimization target changed. Previous works used cosine similarity, but this work uses covariance, which explicitly regularizes the latent space.

MoCo v3 (2021-04) – ViT
Method: MoCo v1 - memory bank + SimCLR augmentations and an MLP + a frozen first layer
# of training branches: 2
Effect: The first work to show that ViT can be used for representation learning.

DINO (2021-04) – ViT
Method: BYOL - the predictor + global/local views + softmax distillation + centering + temperature sharpening
# of training branches: 2
Effect: Enabled the era of large-scale vision foundation models.

VICReg (2021-05) – ViT
Method: Barlow Twins → branch-level covariance + variance + sample-level invariance
# of training branches: 2 or 1
Effect: The first representation learning method to support stable one-branch training without EMA, centering, layer freezing, temperature sharpening, or stop-gradient.

MAE (2021-11) – ViT
Method: learning representations through pixel reconstruction
# of training branches: 1
Effect: A simple, simple, and simple training strategy that is widely used in medical imaging, from what I have heard.

I-JEPA (2023-01) – ViT
Method: learning representations through latent prediction
# of training branches: 2
Effect: The first representation learning method in the spirit of JEPA. It is also the basis of V-JEPAs, VL-JEPA, and so on.

DINOv2 (2023-04) – ViT
Method: DINO v1 + SK centering + KoLeo + LayerScale
# of training branches: 2
Effect: The first large vision foundation model to show superior performance across a wide range of downstream tasks.

DINOv3 (2025-08) – ViT
Method: DINO v2 + Gram anchoring + flattened schedules
# of training branches: 2
Effect: The first large vision foundation model to show superior performance on fine-grained tasks, such as segmentation and depth estimation, and to achieve accuracy comparable to supervised learning methods on ImageNet-1K.

LeJEPA (2025-11) – ViT + others
Method: VICReg → full-distribution regularization. It provides mathematical proofs of why an isotropic distribution is the ideal target for the latent space and proposes SIGReg, a method that is linear in the scaling factors.
# of training branches: 1
Effect: No heuristics are needed for training stability. It provides a simple solution for various tasks, including world models, such as the LeWM series; multimodal learning, such as LeVLJEPA; drone applications, such as SkyJEPA; and so on.

VISReg (2026-06) – ViT
Method: SIGReg → a faster and stronger anti-collapse method that can form an isotropic Gaussian distribution more efficiently. It decomposes the regularization into center, variance, and shape losses, allowing the model to begin introducing isotropy at an early stage of training.
# of training branches: 1
Effect: It is too new to summarize concretely.

[Sicheng Mo @sicheng_mo]

If multiple agents live in the same world, why should their video streams live in separate memories?

Let’s make every player remember the same world state.

Introducing W^2: Streaming Multi-Agent Autoregressive Diffusion Model with World State Registers

Project Page: https://t.co/Y6iI26e5o7
[1/5]

[Induction Labs @induction_labs]

We’re introducing imagination models: a new foundation model architecture that unlocks learning from internet-scale video.

Our first imagination model, Photon-1, learned to use a computer by watching 18 years of screen recording video without action labels.

[Jiaxin Ge @jiaxin_ge_]

Our paper Chain-of-Visual-Thought has been selected as ECCV Oral!
Check out our project page at: https://t.co/XkRzAMw8tw
Great work led by @wakals111 🎉

[Shumpei Takezaki @shumpeiMaxwell]

ELT: Elastic Looped Transformers for Visual Generation

TL;DR: ELT loops a shared Transformer block in masked-token and diffusion models for image/video generation. Intra-loop self-distillation makes inference compute adjustable, reducing parameters while preserving quality.
https://t.co/CZSnmV9jZX

[Shumpei Takezaki @shumpeiMaxwell]

Self-Supervised Learning of Structured Dynamics from Videos

TL;DR: Structured Dynamics Model decomposes video changes into primary and residual motion. Built on frozen DINOv2 features, it separates camera and object motion with weak supervision and outperforms prior representations on multiple motion tasks.
https://t.co/3XewKbofy4