neko

機械B 4年 Kaggle:🥈2
I’m interested in
- The analysis and interpretation of LMs
- Byte level LM, Token free approach, Tokenizer
- Multilingual/Multimodal models

[neko @neko_sub1_nos]

Megatron swiftで色々pluginを書いていると理解がより深まってとても良い

[Daisuke Okanohara / 岡野原 大輔 @hillbig]

Transformerの同じ重みを繰り返し利用するLooped Transformerについて、どの層を繰り返すべきか、ループごとに異なるパラメータを持たせるべきかなどを、最大1Bパラメータ、155Bトークンの規模まで体系的に検証した論文が公開された。

“How to Loop Your Transformer”

特に、パイプライン並列のように各ループの処理をトークン方向にずらして並列実行できるParallel Loop Transformer（PLT）について、従来成功していなかったのが、わずかな改良で現実的な候補になっている。

まず、全層を繰り返す方法と中間層だけを繰り返す方法を比較した場合、同じパラメータ数と学習トークン数なら、全層を繰り返す方が最も低い検証BPB（Bits per Byte）を達成する傾向があるのがみられる。
一方、学習FLOPsを揃えると、中間層だけを繰り返す方が有利になる領域がある。

また、同じ重みを繰り返し利用する際の自由度を高めるため、各ループに小さなLoRAを導入し、さらに複数のLoRAの線形結合によってループごとの重みを補正する手法も検証している。これらは少ない追加パラメータで性能を改善し、特にループ回数が多い場合に有効であった。

最も注目されている結果はParallel Loop Transformer（PLT）である。通常のLooped Transformerでは、同じトークンに対して複数のループを逐次的に実行する必要があり、自己回帰推論のレイテンシが大きくなる。

そこでPLTでは、前のループにおける同じトークンの隠れ状態ではなく、一つ前のトークンにおける前のループの出力を利用し、それに現在トークンのEmbeddingを加える形でループを実行する。

例えば2ループの場合、現在トークンのEmbeddingを入力としたLoop 1と、前トークンのLoop 1の出力と現在トークンのEmbeddingを組み合わせたLoop 2を並列に実行する。現在の予測はこのLoop2から出力し、Loop1は次トークンのLoop2に使われる

パイプライン並列のようにループ間の依存関係をトークン方向にずらすことで、各ループ処理を並列実行できる。これらは、各ループの入力をバッチ化し、共有するTransformerの重みを使って一度に処理することができる。

PLT自体は以前に提案された手法だが、従来のPLTではループを増やすと性能が低下する問題があった。

本論文では、現在トークンのEmbeddingと前トークンの隠れ状態にそれぞれ独立にRMSNormを適用し、ゲートを用いてこれらを混合することで、この問題を大幅に改善した。ゲート自体は複雑である必要はなく、単純な50:50の混合でも大きな改善が得られている。

さらに、Over-training領域では学習効率も改善されることが示されている。2ループのPLTでは、同じ検証損失に到達するための学習FLOPsを、通常のTransformerと比較しておおむね10〜30%削減できる領域がある。

コメント
===
Looped Transformerについてはさまざまな手法が提案されており、それらの実用性が徐々に明らかになってきている。

今回検証されたPLTは、推論時のレイテンシ増加を抑えながら投入計算量を増やせる可能性があり、実用的に有望だろう。

また、学習FLOPsの改善も興味深く、学習トークン数を増やすよりも、各トークンに投入する計算量を増やす方が効率的な領域が存在することが示されている。

なお、今回の実験では4ループ以上では計算量に対する改善が弱まるため、現時点では2ループの改良版PLTが実用的に最も興味深い構成だと考えられる。

なお、今回の結果は最大1Bパラメータ、155Bトークン規模で、主にDCLM検証データの尤度に基づく評価であり、大規模化した場合や、実際の能力にどの程度効果があるかについては、今後の検証が必要である。

[Logan Kilpatrick @OfficialLoganK]

Introducing Gemini 4 Carbon, it's a big jump over Argon which we released just 2 weeks ago.

Gemini 4 Carbon is SOTA on cyber, long horizon tasks, ranks #1 on Artificial Analysis V5, significantly improves on usability in domains like coding, and is more aligned.

[Google DeepMind @GoogleDeepMind]

This is Genie 4, our most realistic and interactive world model yet. 🌐

Explore dynamic environments in real time to see how the scene responds, sounds, and how the people in it move, react, and speak.

[Liquid AI @liquidai]

Introducing 𝙻𝙵𝙼𝟹: our new generation of Liquid Foundation Models. With a new tri-hybrid architecture and new multimodal encoders, the LFM3 family is the ideal model suite for specialized intelligence.

> 6 model instances, across text, audio, vision, and omni modalities, generative and decision models.
> 𝙻𝙵𝙼𝟹-𝟷.𝟽𝙱: text, 256k context window.
> 𝙻𝙵𝙼𝟹-𝚅𝙻-𝟸𝙱: vision-language model with video-input support for spatial understanding
> 𝙻𝙵𝙼𝟹-𝙰𝚞𝚍𝚒𝚘-𝟸𝙱: tool calls, voice chat, reasoning in 18 languages.
> 𝙻𝙵𝙼𝟹-𝙾𝚖𝚗𝚒-𝟸𝙱: an omni model combines vision, audio, and language.
> 𝚍𝟷-𝟸𝙱 and 𝚍𝟷-𝙾𝚖𝚗𝚒-𝟸𝙱: decision models with typed outputs and calibrated probabilities in a single pass. Omni adds audio input.
> fine-tune on 1 GPU.
> a new tri-hybrid architecture
> architecture optimized for 14 processor classes across GPUs, CPUs, and NPUs.
> 𝙻𝙵𝙼𝟹-𝚅𝙻-𝟸𝙱 is a beast. It performs competitively with Gemma 4 12B (6x larger), and Gemini 3.5 Flash Lite, and GPT-5.6 Luna, with 1.9B parameters.
> 𝙻𝙵𝙼𝟹-𝟷.𝟽𝙱 is #1 on the Pareto frontier of device intelligence 𝚙𝚒𝚙𝚎𝚝𝚝𝚎.𝚕𝚒𝚚𝚞𝚒𝚍.𝚊𝚒

Every modality for specialized intelligence. Pick the one that fits your use case, customize it, and run it on-device.

1/ 🧵

[Daisuke Okanohara / 岡野原 大輔 @hillbig]

Softmaxとクロスエントロピーの標準的な実装に2種類の数値誤差が存在し、従来のGrokkingの研究で観測されていたSlingshot現象（突然の損失急増）が、この数値誤差によって説明できることが示された。さらに、蒸留で教師と生徒の出力が近い場合にも問題が発生しうることが明らかになった。

“A Fix for Softmax and Cross-Entropy”

* Softmax Collapse

通常のクロスエントロピー損失では、正解クラスのLogitに対する勾配は

gₜ = qₜ - 1

である。ここでqₜは、Softmaxが正解クラスに割り当てる確率である。

正解クラスに割り当てる確率が大きくなるにつれて勾配は小さくなるが、数学的にはゼロにはならない。しかし、浮動小数点演算ではqₜがちょうど1に丸められ、勾配がゼロになってしまう。

一方、不正解クラスに対する勾配は、より小さな値まで保持される。

本来、すべてのクラスに対するLogitの勾配の総和はゼロ、つまり

∑ₖ gₖ = 0

を満たす必要がある。これは、すべてのクラスのLogitに同じ値を加えてもSoftmaxが変わらないという性質に対応する。しかし、この数値誤差によって勾配の総和がゼロでなくなる。

正解クラスのLogitと、それ以外のLogitのLogSumExpとの差をマージンmと定義すると、FP32ではmが約16.6を超えた時点でこの問題が発生する。

例えば、Logitが

[9, -9, -9]

であり、最初のクラスが正解の場合、通常実装の勾配は、マージンが18と16.6を超えてしまうので0となり、

[0, 1.523 × 10⁻⁸, 1.523 × 10⁻⁸]

となるが、正しい勾配は

[-3.046 × 10⁻⁸, 1.523 × 10⁻⁸, 1.523 × 10⁻⁸]

である。

この違いは絶対値としては小さいものの、Adamのように勾配の大きさを使って更新量を正規化するOptimizerでは、重大な影響を与えうる。

特にGrokkingでは、ネットワークが訓練データを記憶した後、かなり時間が経ってから汎化性能が急上昇する現象が知られている。その過程では、Lossがゼロ近傍から急激に増大し、再びゼロに戻るSlingshot現象も観測されていた。このSlingshot現象が次の過程で発生することを示している。

1. モデルが訓練データを記憶すると、正解Logitのマージンが増大する。
2. マージンがFP32の約16.6を超えると、正解クラスの勾配がゼロに丸められる。
3. 勾配が極めて小さくなると、Adamの二次モーメント推定値が減衰する。
4. Weight Decayなどによってマージンが再び16.6未満になると、正解クラスの勾配が復活する。
5. 小さくなった二次モーメントによって勾配が正規化されるため、非常に大きなパラメータ更新が発生し、Lossが急増する。

さらに、AdamWのεとWeight Decayが、学習後のLogitのマージンを決めることも分析している。

Weight Decayが働く定常状態では、マージンは近似的に
m* ≈ log(1/ε)
となる。例えばε = 10⁻⁸の場合、m* ≈ 18.4となり、FP32で数値誤差が発生する16.6を超えてしまう。これもSlingshotが発生する原因となる。

この問題の解決方法は非常に単純であり、クロスエントロピーの計算に必要な
L = log(1 + e⁻ᵐ)
を、数値的に安定したSoftplus関数
L = softplus(-m)
で計算する。

さらに、正解Logitとその他のLogitとの差を使って損失を表現することで、自動微分によって正解クラスの勾配が、その他のクラスの勾配の負の総和として計算されるようにする。

これによって、非常に小さな勾配も保持され、勾配の総和がゼロになる性質も維持できる。

* Softmax Cancellation

もう一つの問題は、LLMの蒸留やKL正則化などで発生しうる。

TeacherとStudentの、確率分布をp, q

としたとき、Soft-target Cross-EntropyのStudent側のLogitに対する勾配は

g = q - p

となる。

このときTeacherとStudentが完全に一致すれば、勾配はゼロになるはずである。

しかし、従来の実装ではTeacherとStudentのSoftmaxを別々に計算してから引き算するため、近い値同士の減算による桁落ちが発生する。さらに、前向き計算と後ろ向き計算で演算経路が異なることによって、両者が完全に一致していてもゼロでない勾配が発生する場合がある。

これは、Teacherの重みをコピーしてStudentを初期化する場合などに問題となる。

実際に論文では、Teacherの重みからStudentを初期化して蒸留を続ける実験において、従来実装ではBF16の数値誤差がAdamによって増幅され、StudentがTeacherから乖離して精度が低下することを確認している。

この問題も計算方法の工夫によって解決できる。具体的には、TeacherとStudentの確率を別々に計算して引き算する代わりに、Logitの差から出発し、expm1やlog1pなどの数値的に安定した関数を用いて勾配を計算する。

これによって、TeacherとStudentが一致する場合には勾配が正確にゼロとなる。

コメント
====

今回指摘された数値誤差の原因となる計算は、PyTorchやJAXを含む現在の標準実装にも残っている。今後、これらの標準実装でも対応が進むと思われるが、大規模LLMの学習で使われるFused Kernelなどについても、同様の問題が存在するかどうかの確認が必要である。

このような一見わずかな数値誤差が、学習性能や学習中の不可解な挙動に大きな影響を与える、数値計算の方法によって勾配が変わり、Optimizerを通じて学習全体の挙動が変化するのは今後注意が必要である。

将来的には、コーディングエージェントが、勾配の総和がゼロになるといった数学的に保たれるべき不変性を理解し、実装の中でそれらが破られる可能性のある箇所を自動的に検出・指摘できるようになることを期待する。

[Jon Barron @jon_barron]

Hi all, I have a new result I'm excited to share. It turns out that *all existing implementations* of softmax and cross-entropy (that's JAX, PyTorch, textbooks, etc) have a subtle bug --- two bugs, actually. A simple rewrite fixes both, and eliminates "slingshots" when grokking:

[Kimi.ai @Kimi_Moonshot]

Introducing Kimi K3.1 Pro: our most capable 3T-class open-weight model.

🔹 1M-token context, 2.8T total / 104B active params (MoE), Multimodal.
🔹 Full-project coding: games in Unreal, Unity & Godot.
🔹 Excels at parametric 3D modeling in Blender & CAD.
🔹 More reliable at finance work: Accurate modeling with hallucination down by 65%.
🔹 Matching the strongest proprietary models across coding, agentic and knowledge benchmarks.

Kimi K3.1 Pro and K3.1 Pro Highspeed (2–3× faster) are now live on https://t.co/85jA71X9gw, Kimi Work, Kimi Code, and the Kimi API.

Open weights by Nov 4, 2026.

🔗 API: https://t.co/XCrgjXAqMw
🔗 Tech blog: https://t.co/5iPP0MBej6

[NLPコロキウム @nlp_colloquium]

🚀 #NLPコロキウム の開催案内
講演者：山内悠輔さん (@UTokyo_News)
日時：11/4 (水) 17:00– JST
※ 通常と開始時刻が異なります

感情は円環の構造を持つ（似たものは隣に/反対のものは対角に置ける）という心理学の仮説を、LLMの内部に幾何的に再現するお話です 🔁 https://t.co/yyhKVL5Jxe

[Mustafa Suleyman @mustafasuleyman]

We now have state-of-the-art pre-trained base models in the 3T-parameter weight class, built entirely in-house at MAI.

Post-training results coming soon -- stay tuned!

Lots of details in our technical blog post.

https://t.co/xcZ5uV4TAp

[neko @neko_sub1_nos]

Megatron Swiftの環境構築は昔にやった時はかなり大変だったが少なくともsingle nodeでは上手く行くものを以下のwheelとかを使うことで、pyproject.tomlで特に複雑なことをせずにできる様になっていてとても良い
https://t.co/Qrdn4a5LAl

[Logan Kilpatrick @OfficialLoganK]

Today we are rolling out Gemini 4 Argon globally in the Gemini API, to Pro + Ultra in Gemini App, and Ultra subs in Antigravity!

Argon is a huge step forward for Gemini, and a labor of love. This model has been battle tested by over 100,000 people at Google over the last month, with so much new innovation, ambition, and hard work baked into this release. The team has been heads down over the last 6 months working to make this possible across the stack (research, infra, safety, eng, etc).

We rolled the model out to cyber defenders as part of our fairwind program and early access customers over the last 2 weeks, it has been amazing to see and talk to folks who are now using this model daily. Seeing the models writing capability, raw knowledge and persistence for coding, paired with new features like 1M token output when the model needs to work more has gotten me even more excited about our path ahead.

This is just the start of the Gemini 4 era. As you saw with 3.5, 3.6, 3.7, and 3.8 Flash, our iteration speed with Gemini is fast : ) Now with Gemini 4 Argon to work from, I am cannot wait to see the progress continue, and most importantly see what this new model enables for the world.

This is such a special moment in the arc of technology, as millions of people everyday tackle problems they could never have thought possible before. Gemini 4 Argon was built to help you tackle the hardest problems. I have personally felt this spark with Argon and hope you do too. Onwards!!

[Charlie Marsh @charliermarsh]

hyperfine 2.0 is out now! It includes support for alternative performance metrics like peak memory usage, CPU cycles, and more.

[Ai2 @allen_ai]

Our paper on retrofitting language models to operate over bytes – the approach behind Bolmo – has been accepted to Nature! 🎉

We’re also releasing new checkpoints that extend our method from Olmo to Qwen & Llama. 🧵

https://t.co/3BEKIKsQIk

[Conference on Language Modeling @COLM_conf]

Congratulations to the authors of the 3 outstanding papers!

https://t.co/TlOcUpOuVg
https://t.co/1d3eM2sBgF
https://t.co/4iCzuB4Zjb

[Google DeepMind @GoogleDeepMind]

Meet EmbeddingGemma 2, our first natively multimodal open model for on-device embeddings.

It expands beyond text to unify code, images, audio, and video in a shared space. 🧵

[Mistral AI @MistralAI]

Meet Mistral Large 4, aka Le Chonk.

• 1T parameters, natively multimodal. 49B active.
It is the best open weights model from US or Europe on aggregated benchmarks.
• State-of-the-art on critical workloads, including cyber defense, manufacturing and finance and it surpasses closed frontier models on visual grounding.
• Forged in Europe end-to-end and is deployable from Europe via our own Mistral Cloud infrastructure.
• Available to all via API today. Working with cybersecurity partners privately.

Open weights release end of October.

[Yu Yamaguchi | チューリング CTO @ymg_aq]

チューリング、新しいテックブログを公開しました。

PB級データをS3から直接ストリーミングで読み込み、GPU近傍の高速ストレージを介さずそのまま学習する技術の解説です。

Range GETと先読みでレイテンシを減らし、20ノードで約483GB/s（！）の読み出しを実現しています👇
https://t.co/PUuZDfBCTn

[Google @Google]

Up, up, and away. 🚀

Today, in partnership with @planet, we launched a prototype satellite carrying four TPUs into orbit on @SpaceX's Transporter-18 rideshare mission. This launch is the first step of Project Suncatcher, our long-term research moonshot to see whether we can one day host scalable machine learning infrastructure in space.

Over the coming weeks, we'll gather in-orbit data on how our TPUs handle the physical stress, radiation, and thermal extremes of space. Whatever we learn, we'll use it to refine our future designs.

[Ai2 @allen_ai]

We’re releasing Olmo-core 3—open training infrastructure for large mixture-of-experts (MoE) models.

It’s a core system behind the next generation of Olmo, designed to scale into the trillion-parameter range. 🧵

💻 GitHub repo: https://t.co/JT9Y3851gU