浜垣 博志

某研究機関。シミュレーション屋 。実はゲーム会社20年経営もとGENKI社長。代表作は「首都高バトル」シリーズ。

[🧸🐉Yomi Watanuki @LunarHealWisdom]

@shimabu_it そりゃ、そうだ…としか……🙄
https://t.co/OAHYp67iij

[Shinpei KATO (加藤真平) @ShinpeiKato]

テスラFSDと同じカメラ画像のみを入力としたマルチタスクE2Eモデルです。エージェントAIとオートラベリング機能により、人手によるコーディングとラベリングが一切不要なのが特徴です。もちろん、すべてオープンソース公開しました。
https://t.co/Jucz13GWmT
https://t.co/94sMDJ2oG7

[3D人-3dnchu- CG情報ブログ @ymt3d]

ドンキー強し！
ボクセル技術を良い具合にゲームとして消化してるんですよねぇ🤔

[Daisuke Okanohara / 岡野原 大輔 @hillbig]

拡散モデルは、推定したスコア ∇log p(x) を使って、目標確率分布からのサンプリングを行う。今回の研究では確率分布の目標誤差 δ に対して必要なサンプリングステップ数をpolylog(1/δ) で達成できることが示された。本論文は ICML 2026 の Outstanding Paper Award の一つに選ばれている。

拡散モデルの逆過程（生成過程）では、各ステップで次の分布を考える。
p_k(x | x_{k+1})
　∝ p_k(x) exp( - ||x - α_k^{-1} x_{k+1}||^2 / 2η_k )

これは、時刻 k の分布 p_k(x) に、現在の位置x_{k+1} から決まるガウス項を掛けた分布であり、Gaussian tilt、すなわちガウス傾斜分布とみなせる。通常の拡散モデルでは、これをガウス分布で近似してサンプリングする。

一方、本論文では棄却サンプリングの一種であるFirst-Order Rejection Sampling、FORS と呼ばれる手法を用いて、この逆遷移をより高精度に補正する。
通常の棄却サンプリングでは、受理確率を計算するために密度比、つまり関数値 f(x) や log p(x) が必要になる。しかし、拡散モデルで学習されるスコアは対数確率の勾配 ∇log p(x) であり、密度値そのものではない。そのため、通常の棄却サンプリングをそのまま適用することはできない。
FORS は、密度を直接計算する代わりに、パス積分
f(x) - f(x_0) = ∫ <∇f, dx>
を使って、勾配から関数値の差を表す。さらに、その推定値を Bernoulli factory に似た仕組みに入れることで、密度値を明示的に計算せずに棄却サンプリング的な補正を実現する。
大雑把にいえば、exp(E[W]) を、ランダムな積
Π_j (B + W_j) / 2B
の期待値として表す。

この FORS の仕組みは、拡散モデルだけでなく、log-concave な密度関数、つまり確率分布が
μ(x) ∝ exp(-f(x))
であり、f が凸関数であるような分布のサンプリングにも応用できる。

コメント
===
本論文は、スコア関数だけで高精度なサンプリングが可能かという問いに対して、肯定的な解を与え、目標誤差 δ に対する依存を poly(1/δ) から polylog(1/δ) と指数的な改善を実現している。

例えば、確率誤差として δ=10^{-6} を達成したい場合、1/δ は 10^6 のオーダーになる。一方、log(1/δ) は約 14 である。

一方で、この結果がそのまま実用的なサンプラーになるかについては注意が必要である。FORS は棄却サンプリング的な手法であり、実装上の定数、受理率、追加のスコア評価回数、計算機上の効率などには課題が残る。実用的な手法は、今回の理論的アイデアをもとに今後設計されていくものと思われる。

拡散モデルにおける高精度サンプリングは、例えば化合物や薬の設計で重要になる可能性がある。これらの応用では、確率分布を用いた自由エネルギー計算や、稀にしか起こらない現象の評価が重要になる。稀な状態が全体の期待値や反応経路を支配する場合、正確な確率分布からのサンプリングは非常に重要である。

他の多くの生成タスク、シミュレーションにおいても、稀だが重要なイベントをどのように制御し、生成可能にするか、あるいは偽の稀なイベントをどのように棄却するかが重要になるだろう。

[Daisuke Okanohara / 岡野原 大輔 @hillbig]

MAI-Thinking-1のテクニカルレポートには、ベンチマーク上でSonnet級に近いモデルを一から開発するための知見が書かれている。特に、単一モデルの性能だけでなく、継続的にモデルを改善する能力を重視しており、大規模モデル開発の工程・運用・判断基準について興味深い記述が多い。

開発方針として、能力は継承されるべきものではなく、学習によって獲得されるべきものだという考えをとっている。また、複雑な特殊技法ではなく、単純でスケールする学習レシピと信頼できるデータを重視し、すべての技術採用は検証可能でなければならないという立場をとっている。

モデルは1T総パラメータ、35BアクティブパラメータのMoEであり、8K GB200 GPU上で30Tトークンの事前学習と3.55Tトークンの中間学習を行っている。学習には、公開データとライセンス済みデータを使っている。

ベンチマークでは、SWE-Bench Proで52.8%、AIME 2025で97%などの性能を示しており、STEM reasoningとcodingを重視していることが分かる。

アーキテクチャは、現在の強いモデルで使われる標準的な構成に近く、Decoder-only Transformer、local/global attention、RMSNorm、SwiGLU、GQAなどを採用している。MoE層とDense FFN層を交互に挟む構成が実時間効率で有利だったため、この構成を採用している。

MoEにはLatent MoEを使っている。また、学習時にはDropless MoEを採用している。通常のMoEでは、expert capacityを超えたトークンをドロップする場合があるが、これが微妙なcausal leakage問題や実験結果の歪みを生む可能性がある。そのため、可変メッセージサイズのall-to-all通信を使い、トークンをドロップしないDropless MoEを採用している。

この論文では、他であまり詳細が述べられない開発時の方針や評価方法の詳細が書かれている。

たとえば、Scaling Ladderを用いて、小さいモデルでの評価結果をそのまま採用して大規模化するのではなく、複数のモデルサイズを用意し、手法のスケール特性を確認している。モデル系列として、3.9B、13B、30B、58B、100B、159B、615B、1015B総パラメータのモデルを用意し、小〜中規模で検証したうえで、大規模でのスケール特性を見ている。この中で、大規模化するにつれて小規模で得られた結果が逆転する例も見られた。たとえばデータmixでは、小規模ではSTEM-heavy mixが良かった一方で、中〜大規模ではSTEM評価においてもcode-heavy mixの方が良いという結果が得られている。

また、アーキテクチャやデータ改善を単純なloss差ではなく、Efficiency Gain, EGで評価している。EGは、候補手法が達成した損失にベースラインが到達するには、何倍の計算量が必要かを表す指標である。さらに、FLOPs基準のEGだけでなく、実時間基準のEGTimeも参照している。実装上の通信やメモリ効率が悪ければ、FLOPsでは勝っていても実時間では負ける場合がある。たとえば、MoEを全層に入れる構成とinterleaved MoE + dense構成を比較すると、後者の方が実時間効率で優れており、採用に至っている（同じFLOPsではMoE onlyがよいが）

pretrainingにおいては、held-out NLL、すなわち負の対数尤度による評価を重視している。精度評価は、プロンプト形式やジャッジモデルなどに影響されやすく、安定しないためである。一方、NLLは安定して高速に評価できる。
pretrain開発時に、合計で約40個のNLL評価用の内部ベンチマークを持ち、単一の目標値にまとめるときは、次の重みを使っている。
コード: 0.5
STEM: 0.175
数学: 0.175
一般知識: 0.1
多言語: 0.05
ここから、MAIは事前学習段階からコードとreasoning、特に数学・STEMをかなり重視しているといえる。

中間学習後、RLでは事前にreasoning traceを与えず、RLによって推論能力を獲得させている。
STEM、agentic coding、安全性・helpfulnessの3つのspecialist modelを訓練し、その後、それらを元のモデルにSFTで蒸留して統合している。長くRLで性能を伸ばし続けられるように、学習方法にも工夫が加えられている。
RLでは、4096 chipsが推論・rollout生成用、768 chipsが学習用に使われており、推論と学習の比はおよそ5:1である。学習ステップ数の詳細はないが、数千ステップと書かれている。
RLではまず、現在のモデルにとって学習に適した難易度の問題を選ぶ。同じ問題に対して、成功するrolloutと失敗するrolloutが混ざるような問題を探す。これを行うために、最初に少数のrolloutを投げ、pass rateが適切な範囲に入るかを調べる。

次に、候補選別を通った問題に対して、追加で128本のrolloutを行う。各rolloutは採点され、全体のpass rateが計算される。pass rateが事前に決めた範囲に入っていれば、正規化advantageを計算し、GRPOで更新する。

長文能力については、直前のmid-trainingと同じデータmixを使い、それを目標長である256Kにre-packして作る。アブレーション結果から、短いコンテキストで効率よく学習し、最後に少量の長文extensionを追加すればよいと見ている。ここも詳細な記述が多く参考になる。

コメント
===
フロンティアモデルに匹敵するモデルの学習詳細が述べられているという点で有用である。特に、具体的な手法そのものよりも、学習方針、例えば、NLLで評価すること、Scaling Ladderを構築して評価すること、技術採用を検証可能にしていくことなどは、他で書かれていることが少なく参考になる部分が多い。

特に、事前学習は作ったモデルがどの程度良いか、採用を評価するには、後続タスクまで作らないと難しい場合があり、単純ではない。今回のテクニカルレポートには、その点で参考になる部分が多いのではと考える。

気になった点として、specialistを蒸留する際、最近はon-policy蒸留も増えているが、このレポートでは通常のSFTを採用している理由は特に書かれていなかった。複数のspecialistの能力を安定に統合するため、単純でスケールしやすい方針を優先したのかもしれない。

[鶴 @Crane_mk4]

本日、トヨタからヒューマノイド技術の記事が投稿されました！新卒1年目で実機歩行まで達成したバケモノみたいな同期の執筆です🥲

未来創生センターに興味・関心ある学生さんには特に仕事の内容が直接見える、オススメの記事です！
https://t.co/VLc01eKhXv

[Sadao Tokuyama @tokufxug]

LLMが遂にテキストを脱皮し「現実世界」の3D空間をガチで理解し始めた。

SpatialLMは3D点群にLLMの推論力を適用し、壁やドアの構造、空間の繋がりを解釈して構造化データを出力する。

言語モデルを空間知能へ拡張するブレイクスルー。コードも論文もオープンに公開。

[shokupan @shokupan1711387]

読んだ
わかりやすかった
https://t.co/GzC1NaTBDC

[五十嵐 @biz_fx50]

Googleが発表したAIワールドモデル「Genie3」によって次々とキモゲームが作られています。

これは魚になってウネウネしながら厨房から脱出するキモゲーム。

[Kosuke @kosuke_agos]

Googleの研究チームが、論文作成における「図解」を実現する衝撃のツール「PaperBanana」を発表しました。

研究手法のテキストを入力するだけで、Figmaやデザインスキルなしに「そのまま論文に使えるレベルの図解」を生成します。

その高度な仕組みとデータを3つのポイントにまとめました。

1. 5つの「専門家エージェント」
単なる画像生成ではありません。「検索(Retriever)」「設計(Planner)」「装飾(Stylist)」「生成(Visualizer)」「批判(Critic)」という5つのAIが連携。人間が推敲するように、批判と改善のループを構造的に回すことで精度を高めています。

2. 75%の「圧倒的支持」
人間によるブラインド評価において、既存の手法と比較して75%の確率でPaperBananaの出力が選ばれています。見た目の綺麗さだけでなく、情報の伝達効率が物理的に最適化されています。

3. 抽象からの「具現化」
完全に一致するリファレンスは不要です。「なんとなく良い図」を見せるだけで、AIが構造的エッセンスを抽出し、自分の研究内容に合わせて再構築してくれます。

[としぞー @_toshizo]

ROS 2ユーザむけIsaac Sim活用ツールの紹介動画を作ってみましたが、やはり動画編集ってなかなか難しい…

[Algomatic AI ラボ @Algomatic_AILab]

「AIの性能向上には『マルチエージェントシステム』が重要だ」といった考え方に一石を投じる論文が発表されました。

テキサス大学オースティン校などの研究者による報告です。

実験において、同じモデルを用いた複数エージェントによる協力作業と、単独エージェントによる作業を比較したところ、単独でも性能を維持したままコストを削減できることが判明しました。

これまでは、複雑なタスクには「役割分担させた複数のAI」を用意するのが定石でした。しかし今回の研究では、単独のAIが文脈を保持したまま、まるで「一人芝居」のように役割を切り替えていく手法を検証しました。

その結果、シングルエージェントであればメモリを再利用できるため、エージェント間で情報を渡す際の余計な計算が不要になり、複数用意するよりも効率的に処理できることが分かりました。性能面でも、マルチエージェントと同等、あるいはそれを上回る結果が出ています。

一方で、著者は「マルチエージェントが無駄だ」と主張しているわけではありません。「数学が得意なモデル」と「文章が得意なモデル」のように、異なる能力を持つAIモデルを組み合わせる場合には、依然としてマルチエージェントの方が有用だとしています。

この発見は、「とりあえずエージェントを増やせばいい」という安易な開発手法に疑問を投げかける。今後は、異なる強みを持つモデルを組み合わせるシステム設計の重要性が増していくと考えられます。

[Daisuke Okanohara / 岡野原 大輔 @hillbig]

PLaMo 2.2 Primeをリリースしました。
今回は特に需要の多かった指示追従性能、ロールプレイ、専門分野で大きな性能改善を達成しています
ぜひお試しください！

[癒しのお届け便 📦【動物】 @Bakutan_bot1]

こういうAIの使い方してる動画、ずっと見てたくなるほど面白い

[田中義弘 | taziku CEO / AI × Creative @taziku_co]

これ、ただの「画像→3D」じゃない……!?

VIGAは1枚の画像を、編集可能なシーンプログラムとして再構築する。生成と検証を往復しながら、Blender上で構造・物理・インタラクションまでコードで詰めていく。

いわば物理世界をvibe codingするエージェント。リンクは🧵

[3D人-3dnchu- CG情報ブログ @ymt3d]

今趣味でクリーンな3DデータをAI活用して作る中でベストに思うフローですね

Grokで画像生成
Tripoでの3D生成
Hunyuan 3D Studioでローポリ化とUV展開
ComfyUIでTrellis2を使用しテクスチャリング＋アップスケーリング
Blenderでの最終調整
Unreal Engine / UEFNシェーダー適用

[TOMOKIN 友金良太 @TOMOKIN_Voice]

@Sankei_news ニホンアマガエルの腸内細菌「エウィンゲラ・アメリカーナ」ががんを攻撃する仕組みはこちらの図が分かりやすいです。 &gt;がんを死滅させる細菌、アマガエルから発見　注射１回で腸の腫瘍完治　特効薬となる可能性

[tapehead.lab @tapehead_Lab]

【nutrient_04】
Niji 7がくる前に、Niji 6のいろんなsrefを使い倒す動画

[Seamless @shiropen2]

睡眠中に「脳内のごみ」を活発に洗い流していた　掃除が不十分だと認知症リスク増 https://t.co/D1Mtr8wz0s 
「グリンパティック系」は脳の独自老廃物排出システム→脳脊髄液が脳内に流入し老廃物を回収しリンパ管から排出する仕組み。睡眠時は覚醒時の2倍の排出量。ただし睡眠薬では効果なし

[Ryohei Sasaki@engineer @rsasaki0109]

Pi3MOS-SLAM
Dynamic Visual SLAM using a General 3D Prior
https://t.co/EQjwTTGny2
Reliable incremental estimation of camera poses and 3D reconstruction is key to enable various applications including robotics, interactive visualization, and augmented reality. However, this task is particularly challenging in dynamic natural environments, where scene dynamics can severely deteriorate camera pose estimation accuracy. In this work, we propose a novel monocular visual SLAM system that can robustly estimate camera poses in dynamic scenes. To this end, we leverage the complementary strengths of geometric patch-based online bundle adjustment and recent feed-forward reconstruction models. Specifically, we propose a feed-forward reconstruction model to precisely filter out dynamic regions, while also utilizing its depth prediction to enhance the robustness of the patch-based visual SLAM. By aligning depth prediction with estimated patches from bundle adjustment, we robustly handle the inherent scale ambiguities of the batch-wise application of the feed-forward reconstruction model.