Minami.H

早稲田経シス DS研究室在籍 (共同研究: ZOZO Research) | 都立西卒 | CyberAgent 27卒 ML/DS | 🏀 🏴‍☠️ #3 ✈️ #12 🐉💙 | ⚾️ ｲﾛｲﾛ

[Takumi Kawasetsu, 川節拓実 @takumi_k_jpn]

100m障害物走の決勝

[パ・リーグ.com / パーソル パ・リーグTV【公式】 @PacificleagueTV]

【お知らせ】
パーソル パ・リーグTVでは、埼玉西武 #栗山巧 選手の引退試合・セレモニーをライブ配信します。

一軍から三軍までの監督、コーチ、選手全員が当日限りの特別ユニフォームを着用する一戦！
栗山選手の最後の勇姿をぜひご覧ください！

👇ライブ配信はこちら！
https://t.co/q9rS4p6abU

#seibulions

[YANS🌱言語処理若手シンポジウム @yans_official]

🏆受賞者一覧🏆
#YANS2026 奨励賞・デモ賞の表彰を行いました！
おめでとうございます🎉

[松浦勝人 @maxmatsuuratwit]

noteを始めて2日。フォロワーが6,000人を超えて、スキは2本合わせて14,000になりました。

60年生きてきて学んだことを書いているだけなのに、こんなに読まれるとは思っていなかった。ありがとう。

まだの人はここから読めます。

https://t.co/GFI3hSZ6YV

[サイバーエージェント 広報＆IR @CyberAgent_PR]

AI Labが保育所入所選考システム「ChilmAI」のOSSを公開しました。選考ルールの厳守と最適配置を両立する技術を無償提供し、自治体規模を問わず導入が可能になります。学術研究に基づく技術のオープン化を通じ、公的領域への技術還元と社会実装を推進します。
https://t.co/Ge8PfSxp2t

[もとやま @ysk_motoyama]

https://t.co/aTbjbLiBtY

[埼玉西武ライオンズ @lions_official]

#ウィンゲンター 投手、#カナリオ 選手と来季の契約を締結いたしましたのでお知らせいたします。
これからも2選手へ熱い声援をよろしくお願いいたします！

#seibulions

[岩崎礼司⚽岩崎本舗 @thethirdboss]

探しています
2021年2月28日放送のバナナマンのせっかくグルメ番組内で
【チーズ角煮まんじゅう】を紹介して下さったFC東京サポーターの方を探しています
詳しい内容はnoteに書きますが
厳しい環境だったコロナ禍の真最中、僕の心に火を灯してくれたお礼をお伝えしたいです🙇
https://t.co/tXOTj8ctCv

[バスケットボールキング @bbking_jp]

🇯🇵BLACK SAMURAI SUMMIT 2026🏀

🔻ベスト5
白谷柱誠ジャック（Team Red）
恒岡ケイマン（Team Red）
佐藤久遠（Team Black）
今野瑛心（Team Black）
本田蕗以（Team Black）

🔻MVP
本田蕗以（Team Black）

#BLACKSAMURAI

[Yuki Mitsufuji @mittu1204]

初めての #MIRU2026 参加で、基調講演をさせていただきました。CV分野のみなさまとは違う視点で面白い議論ができて、NYから長崎までわざわざきて良かったです

紹介した技術のほとんどはここにあります

https://t.co/2nYLaDEmtF

[Keisuke Fujii (藤井慶輔) @keisuke_fj]

#MIRU2026 でのチュートリアル資料を共有します。
多くのご質問、コメントをいただきました。
ありがとうございました！

https://t.co/KT4dPpr7nr

[LENS🔍 視覚若手の会 @lens_kousiki]

【視覚若手の会LENS結成】所属や年代を超えた日本の若手CVコミュニティを立ち上げます🔥 #MIRU2026
ホームページ🔍 https://t.co/IIG8tRYyOZ
Discord🔍https://t.co/M5VD0kCZ0t

[スプリング・オンライン 家庭教師 @spring_online1]

大学院は「勉強したい人」が行く場所ではない

大学院は、「もっと勉強したい人」が行く場所だと思われがちです。もちろん、学びたいという気持ちは大切です。

ただ、大学院進学を考えるうえで重要なのは、大学院は“勉強する場所”というより、“研究する場所”であるということです。

学部までは、あらかじめ用意されたカリキュラムの中で、知識を吸収し、理解度を示すことが中心です。一方で大学院では、求められる能力が大きく変わります。

大学院で問われるのは、どれだけ知識を覚えているかだけではありません。自分は何を明らかにしたいのか、なぜその問いを立てるのか、先行研究では何が明らかになっているのか、既存研究にはどのような限界があるのか、自分の研究はその中でどこに位置づくのか、どの理論枠組みを使うのか、どの方法で検証するのか、その研究にどのような意義があるのかを、自分の言葉で説明できるかです。

つまり大学院は、知識を受け取る側から、問いを立てて知を作る側に移る場所です。
大学院は、正解を教えてもらう場所ではありません。自分で問いを立て、その問いに対して、文献・理論・データ・方法論を用いて答えを出そうとする場所です。だからこそ、大学院進学で一番大切なのは、自分が本気で向き合える問いを持っているかです。

[MIRU若手プログラム @miru_wakate]

#MIRU2026若手プログラム の今年の活動成果を公開しました！
8/6のインタラクティブセッションではポスター発表を行います。ぜひお立ち寄りください！
https://t.co/INz1ThAZqI

[nwiizo @nwiizo]

頑張っているのに、なぜか報われない。その原因を、努力の量や要領の悪さだと長いあいだ思っていました。違いました。多くの場合、解いている問題そのものがずれています。速く走っているのに、向かう先が違う。それだけのことでした。努力は方向を選んではくれません。仕事も勉強も家事も、同じです。

丸一日かけて磨いた資料が、会議の最初の五分で前提ごとひっくり返る。そんな経験はありませんか。悪いのは資料作成能力ではありません。着手する前に、これは今解くべき問いかと確かめなかったこと。思えば学校では、問いはいつも与えられ、解く速さだけが採点されました。解く前に疑う練習を、私たちはしていません。

働く前は仕事ができる人は、手が速い人だと思っていました。実際は、解く前に問いを選び直せる人でした。動き出す前に、それを解くと誰が楽になるかを一行だけ書く。それだけで戻る距離は縮みます。あなたの今日の作業は、誰のどんな問題を解いていますか。この観点から4冊を紹介します。

[【公式】サイバーエージェント新卒エンジニア採用 @ca_tec_des]

＼機械学習・データサイエンティスト就活生必見👀／
「AI/Data Technology Map」公開中！📣
自然言語処理・効果検証・MLOps基盤・レコメンドetc...36領域掲載！
興味領域がサイバーエージェントのプロダクトでどう使われているかが丸わかりです！
▼是非チェック
https://t.co/RC1NstiLN5

[パ・リーグ.com / パーソル パ・リーグTV【公式】 @PacificleagueTV]

／
#マイナビオールスターゲーム2026 第1戦⚾️
＼

㊗️最優秀選手賞🎉
🏆北海道日本ハム #万波中正 選手🏆

#失恋は人を強くする #恋より野球 #MVP #lovefighters

[Kimi.ai @Kimi_Moonshot]

Releasing the model weights and technical report of Kimi K3.

Kimi K3 is our most capable model: a 2.8T MoE model with native visual understanding and a 1M-token context window.

New model architecture: 2.5x the intelligence per unit of compute, not just more params.

Alongside Kimi K3, we're opening up more of the stack behind it — high-performance attention kernels, MoE communication library, and infrastructure for running agent environments at scale.

Model weights: https://t.co/7m7eEg6Y0B
Tech report: https://t.co/yeu6cjpMCT
Tech blog: https://t.co/YTfiMSNM1f

[Daisuke Okanohara / 岡野原 大輔 @hillbig]

Kimi K3は、フロンティアモデルに匹敵する性能を持つオープンウェイトモデルである。Technical Reportが公開されたので、重要な点をまとめる。

Kimi K3は、総パラメータ数2.8T、活性パラメータ数104BのMoEモデルである。アーキテクチャ、データ、ハイパーパラメータ、学習手法を総合的に改善し、Kimi K2と比べて、同じvalidation lossに到達するために必要な学習計算量を約2.5分の1にしたと主張している。

* アーキテクチャ
Kimi K3のアーキテクチャは、系列方向、深さ方向、幅方向という三つの情報流を、それぞれ拡張するように設計されている。

系列方向では、Kimi Delta Attention（KDA）とMulti-head Latent Attention（MLA）を組み合わせる。モデル全体は93層からなり、基本的には3層のKDAと1層のGated MLAを一つのブロックとして繰り返す。

KDAは、過去の履歴を固定サイズの状態行列へ圧縮する線形アテンションである。従来のDeltaNet系の構造を拡張し、過去の情報をどの程度保持するかをチャネルごとに調整できる。

KDAの基になったKimi Linearでは、忘却率が極端に小さくなる可能性があり、チャンク並列計算において累積減衰の逆数が過大になり、オーバーフローなどの数値不安定性を引き起こす問題があった。Kimi K3では、対数減衰に下限を設けている。
この変更により、以前は特殊なposition-pair計算が必要だった対角タイルも、Tensor Core上の密行列積として処理できるようになった。数式上は小さな変更だが、GPUカーネルを単純化し、学習速度を改善する重要な工夫である。

MLA層では、RoPEなどの明示的な位置符号化を使っていない。Kimi Linearでも示されていたように、位置や順序に関する情報は主にKDA側が担い、MLAは主として内容に基づくグローバルな情報検索を担当する。
この役割分担によって、コンテキスト長を拡張する際に、RoPEの周波数調整や補間を行う必要がない。

ただし、位置符号化の変更が不要だからといって、学習なしで100万トークンを利用できるわけではなく、Kimi K3は、8K、64K、256K、1Mと段階的にコンテキスト長を伸ばして学習している。

技術報告では、8Kから64Kまでをpre-training中に実行し、学習の最終段階であるcooldownにおいて256K、1Mに拡張したとしている。

次に特徴的なのが、深さ方向の情報流を改善するAttention Residualsである。

通常のTransformerでは、過去の層の情報が残差接続によって順番に加算され、一つのhidden stateへ集約される。深さ方向で見ると、過去の情報を単一の状態へ圧縮していくRNNのような構造になっている。

Attention Residualsでは、各層が過去の層やブロックの表現に対してattentionを行い、必要な深さの表現を選択的に取得する。

この実現にあたり、各層は、学習可能なpseudo-queryベクトルを持つ。このqueryは入力から計算されるのではなく、層ごとに保持される学習可能なパラメータである。一方、keyとvalueには、各入力トークンに対する過去の層出力が使われる。

pseudo-queryは、「この層がどのような種類の表現を必要としているか」を表す検索テンプレートとみなせる。query自体は入力に依存しないが、keyは入力に依存するため、実際のattention weightはトークンごとに変化する。

独立した学習可能ベクトルをqueryとして使うことで、各トークン、各層について大きなquery projectionを計算する必要がなくなる。また、Attention Residualsによって作られる現在層への入力からqueryを生成しようとした場合に生じる循環依存も避けられ、実装が単純になる。

Kimi K3では、全93層をおおむね12層ずつのブロックに分け、過去の全層ではなく、主としてブロック単位の表現にattentionするBlock Attention Residualsを用いている。これにより、過去の全層出力を保持するためのメモリと、pipeline parallelism時の通信量を削減している。

幅方向では、Stable LatentMoEを用いる。

Kimi K3には896個のrouted expertがあり、各トークンについて16個が選ばれる。ただし、各expertへ7168次元のhidden stateをそのまま送るわけではなく、expertへ入る前に3584次元のlatent空間へ圧縮し、expert処理後に元の幅へ戻す。一方、全トークンに共通して使われる2個のshared expertは、元の全幅で動作する。

Kimi K2では384個のrouted expertから8個を選択していたのに対し、Kimi K3ではexpert候補数が約2.3倍、同時に活性化するexpert数が2倍になっている。sparsity ratioはKimi K2の48に対してKimi K3は56であり、似たレベルである。より多くの専門的なexpertを組み合わせながら、latent空間を使うことで計算量と通信量を抑えている。

さらに、routed expertの集約後にRMSNormを挿入し、SwiGLUの代わりにSiTU-GLUを導入している。SiTU-GLUは、SwiGLUの原点付近における性質を保ちながら、大きな入力をtanhによって滑らかに飽和させる。Kimi K3の設定では、各出力座標の絶対値が最大100に抑えられる。大規模かつ極端に疎なMoEにおけるactivation explosionを防ぐための設計である。

また、expert負荷の均衡にはQuantile Balancingを使う。
従来方式では、過剰に使われたexpertのbiasを少し下げ、使われていないexpertのbiasを少し上げる更新を繰り返していた。しかし、896個のexpertを扱う場合、このような固定幅の更新では追従が遅く、負荷が振動しやすい。

Quantile Balancingでは、各expertが目標数のトークンを受け取るように、router scoreのmarginの分位点から次のbiasを直接推定する。

実際には、全marginを一箇所へ集めるのではなく、expertごとのhistogramをall-reduceし、全体の分位点を近似する。

さらに、Kimi K3は画像と動画を事前学習の段階から統合している。画像・動画のencoderには、約4億パラメータ、27層のMoonViT-V2を用いる。Kimi K3では、SigLIPなどで事前学習したvision encoderを接続するのではなく、vision encoderも言語モデルと同時にscratchから学習している。

技術報告では、SigLIPで初期化したencoderよりも、next-token predictionによってscratchから学習したMoonViT-V2の方がgradient normが安定し、最終的なvision評価も同等だったと報告している。

事前学習
===
事前学習は8K contextから始まり、その後64Kへ拡張される。さらに、学習の最終段階であるcooldownにおいて、256K、1Mへ伸ばしている。

一般的には4K~8Kなのに対し、64Kまでが事前学習の範囲とされているのが興味深い。どの規模でされたかの証明は示されていない。

自然な長文や動画には、重複、壊れたファイル、無効なlog、途中で切れたデータ、類似したframeの連続などが多く含まれる。そのため、長文専用のcleaning pipelineを用いて、重複除去、品質判定、構造検証を行う。

また、本当に長く一貫した文書や動画は短いデータに比べて少ないため、cooldownでは長文データを相対的にupsampleする。

ただし、長いsequenceを見せるだけでは、モデルが近くの情報だけを利用し、遠距離の情報を無視する可能性がある。そこで、複数の文書やsub-taskを並べ替えて連結し、100万トークンの中に分散した情報を集めなければ解けないような合成課題も作っている。

事後学習
===
事後学習は、SFT、RL、Multi-Teacher On-Policy Distillationの三段階で行う。

まずSFTによって、tool callingやagent trajectoryの基礎を学習する。

次に、general tasks、general agents、coding agentsという三領域について、それぞれlow、high、maxの三段階のreasoning effortを学習する。これにより、合計9個の専門policyが作られる。

まず、特定のエージェント実装への過学習を防ぐため、ツール、system prompt、memory、context management、subagentなどを交換可能な部品として構成する。Kimi CodeやClaude Code、Codexに近い形式だけでなく、未知の構成でも学習させることで、特定のハーネスに依存しない能力を目指している。

RL課題の生成には、自己拡張する知識グラフを利用する。数学、物理、化学、コンピュータ科学などの大分類から始め、エージェントがWeb検索を行いながら、より細かな概念へ分解する。そこから論文、ブログ、コードリポジトリなどを収集し、知識問題、コーディング、視覚推論などの課題を合成する。

学習対象は多岐にわたる。検索や法律、金融、データ分析などの専門業務に加え、画像をPythonでcrop、zoom、変換しながら解く視覚課題、CUDAやTritonを用いたGPUカーネル最適化なども含まれる。

また、Gmail、Slack、Notionなどを模した環境を構築し、複数日にわたるpersonal assistant課題も学習する。一つのrolloutが数千回のtool call、数百万context tokensに達することもある。

Autonomous Execution Tasksでは、正解手順を与えず、初期状態、目標、制約、ツール、実行予算だけを与える。モデルは自ら計画し、ツールを使い、失敗から回復し、最終状態を外部verifierに評価させる。公開verifierだけに過適合することを防ぐため、モデルには見えないhidden verifierも用いる。

Web開発では、Webサイト、ゲーム、3D、データ可視化、full-stack applicationなどを生成する。buildの成否、実行時error、機能、見た目、操作結果を評価し、画像を貼り付けただけの偽装などは報酬をゼロにする。

その後、9個の専門モデルを一つに統合するため、Multi-Teacher On-Policy Distillation（MOPD）を行う。

RL学習環境
===

長期エージェントRLでは、一つのtrajectoryが数百から数千回のtool callを含み、累積context tokensが数百万に達することもある。

すべてのtrajectoryの終了を待つと、一部の非常に長いtrajectoryが学習全体を待たせる。そのため、一定割合のrolloutが完了した時点でpolicy updateへ進み、未完了trajectoryは次のiterationで再開するpartial rolloutを使う。

未完了trajectoryを再開するには、モデル側のKV cacheと、外部環境側のsandbox stateの両方を保持する必要がある。

Kimi K3では、GPUからevictされた長いprefixをCPU DRAM上のexternal KV cache poolへ保存する。また、Firecrackerを用いたmicroVM sandboxであるAgentENVを使い、sandboxをpause、resume、fork、snapshotできるようにしている。

報告では、checkpointが最短133ミリ秒、resumeが最短49ミリ秒であり、学習と評価全体で約5122万個のsandboxが作成されたとしている。

学習基盤
===
KDAでは、各sequence segmentの作用を、入力状態に作用するtransitionと、zero stateから生成される局所状態に分解する。

これらの変換は結合可能であるため、prefix scanによって各GPUに必要な初期状態を計算できる。

MoE学習にはMoonEPを用いる。必要に応じてexpertを別rankへ動的に複製し、すべてのexpert parallel rankが正確に同数のトークンを処理するようにする。技術報告では、各rankに最大E/R個のredundant expert slotを確保すれば、完全に均衡した割り当てが常に存在することを示している。ここでEはexpert数、Rはexpert parallel rank数である。
完全に負荷を均衡できれば、遅いrankを待つ時間がなくなるだけでなく、通信bufferや計算shapeを固定でき、各層でhost側へ同期してtoken数を確認する処理も不要になる。

推論
==
推論時には、KDAの固定サイズ状態と、MLAの系列長に比例するKV cacheを、同じpaged cache managerで管理する。

MLAは細かいtoken境界でprefixを再利用する一方、KDA stateは大きいため、conversation turnなどの限られた境界でcheckpointする。

投機的デコーディングでは、draft tokenごとに巨大なKDA stateを保存せず、小さなprojection inputだけを保存する。

draft tokenの一部がrejectされた場合は、acceptされた部分についてKDA stateをGPU上で再計算し、正しい状態へ戻す。

性能評価
===
性能評価では、Kimi K3は総合的にClaude Fable 5とGPT-5.6 Solの直下に位置し、技術報告で比較された多くのオープンモデルおよびプロプライエタリモデルを上回っている。

特に、コーディング、検索、調査、長期ツール利用を必要とする課題で強い。
一方、Humanity’s Last ExamやCritPtのような研究レベルの推論、OSWorld 2.0のような難しいcomputer use、長期的な行動規律や複雑な協調では、最上位モデルとの差が残っている。

なお、技術報告では、以下の情報は公開されていない。

総事前学習トークン数、最終的なデータ配分、総学習FLOPs、使用GPU数、学習期間、実測MFU、各context lengthでの学習トークン数である。

コメント
===
Kimi K3は、現時点で最も強力なオープンウェイトモデルの一つであり、そのアーキテクチャ、学習方法、システム実装をまとめた重要な資料である。

新技術があるというよりも、必要な技術を幅広く取り込み、それぞれを大規模モデルで実際に動作するまで作り込んでいるという印象が強い。

モデル開発をしている立場から、特に印象的だった点は次の二つである。

・Kimi K2に引き続き、事後学習におけるエージェントRL環境へ非常に大きな投資をしている。テキスト、画像、コード、Web、業務アプリケーション、GPU kernelなどを含む多様なエージェント課題を合成し、長期間にわたるtool useと試行錯誤を学習させている。この部分については、改めて詳しく紹介したい。

・十分なablation studyが提供されていないため、それぞれの技術選択が、どのような比較や判断に基づいて行われたのかは分からない部分が多い。KDA、Attention Residuals、Stable LatentMoE、SiTU-GLU、Quantile Balancing、Per-Head Muonなどの個別技術が、最終性能や学習効率改善にどの程度寄与したのかは分解されていない。

実際には、内部実験の結果、学習安定性、GPUカーネルの効率、分散学習時の通信、メモリ制約など、さまざまな要因を総合して選択したと考えられる。

[野村高文｜Podcastプロデューサー・編集者 @nmrtkfm]

現代美術家・横尾忠則さんにPodcastにご出演いただきました。成城にあるアトリエにお伺いして収録しました。

3歳から90歳の現在まで、絵を描き続けている横尾さん。アトリエに所狭しと積まれているキャンバスの数々からは、時間の重みを感じました。

雰囲気を感じていただけるよう、写真と音声を組み合わせた形で配信します。ぜひ休日に、じっくりとお聴きいただければ幸いです。