Mengsay Loem

Engineer based in 🗼
Interested in (Low-Resource) LLM/VLM.

Join me in exploring Khmer LLM development and evaluation!

Opinions are my own.

[NOZAWA, Kento @nzw0301]

事後学習の内容をお話します。何卒🙏

[Mengsay Loem @loem_ms]

前職で取り組んだものが、MIRU2026のインタラクティブセッションで2件発表されます！

📅 8/5（水）16:00–18:00（主著）
文書情報抽出における視覚接地の補強：アノテーション不均衡下での補助データ比較
📅 8/6（木）13:00–15:00（共著）
Cello: 視覚接地した文書特化型視覚言語基盤モデルの構築

残念ながら私は現地参加できませんが、共著者の皆さんが発表してくださいます。ご参加予定の方は、ぜひお立ち寄りいただけるとうれしいです！

[Daisuke Okanohara / 岡野原 大輔 @hillbig]

今回、Preferred Networks（PFN）は、Noetora（以下、ノエトラ）が進めるフィジカルAI向け国産マルチモーダル基盤モデルの開発に参画します。

また、私自身もNEDO事業における共同研究開発統括責任者としてノエトラのモデル開発に携わるとともに、産総研が主体となって実施する探求枠において、テクニカルディレクターの一人として研究開発を進めます。

その背景と今後について説明します。

これまでPFNでは、フルスクラッチでPLaMoを開発してきました。日本国内で、データ設計、学習プロセス、モデルに対するコントローラビリティを確保しながら、AIの開発と利用を進めることが重要だと考えているためです。現在では企業での利用に加え、ガバメントAI「源内」をはじめ、行政・公的機関における活用も進んでいます。

しかし、生成AI開発をめぐる競争は激しく、競争力のある製品を開発し続けるには、大量の計算資源を安定的に利用できる環境が欠かせません。
さらに、LLMやエージェント向け開発に加え、画像、音声、動画、触覚などを扱うマルチモーダル化やフィジカルAIの実現には、新しいモデルや学習手法が必要になると考えています。そのため、技術開発だけでなく、データの収集・設計や評価手法の構築にも取り組む必要があります。

こうした背景から、ノエトラでは、国内でのモデル開発能力を持つメンバーが結集して基盤モデルを開発します。
また、これと連携する形で産総研が国内外の数十チームと研究開発テーマに取り組んでいきます。計算資源として、すでに国内にある計算資源を活用するとともに、国内最大規模のVera Rubin世代の GPU 27500基からなる計算基盤を構築していき、それを活用したモデル開発を進めていきます。

PFNからも、事前学習、事後学習、研究開発を担当する多くのメンバーがノエトラに参加し、PLaMoの開発を通じて培った技術や成果を取り込んでいきます。他の参画企業が持つ技術や知見とも融合し、一社だけでは難しい開発を進めます。

私は開発戦略チームに所属し、他組織から参加するリーダーたちと連携しながら、全体の開発方針や設計を検討します。また、研究開発を行う探求枠においてもテクニカルディレクターの一人として研究テーマの設定や推進に関わります。

一社では難しい計算資源の確保や基盤モデルの開発、評価技術の開発、研究開発では協調し、その成果を用いた製品化や社会実装では各社が競争します。共通基盤を協調して引き上げ、その上で多様な製品やサービスを競い合う関係です。

PLaMoの開発と提供は今後も継続します。ノエトラで開発される、より競争力の高い基盤モデルをもとに、PFN独自のデータ、学習技術、製品化技術を組み合わせ、PLaMoをはじめとするさまざまな製品へ応用していきます。

===

現在のAIの状況の中で、日本がこの取り組みを進める意義はあるのでしょうか。

一つには、米国と中国がAI開発を強力に主導する中で、第三極となる選択肢をつくりたいという思いがあります。新たな選択肢を提供することは、世界のAI開発や供給構造の安定化にもつながります。

また、AIにどのような価値観や考え方を反映させるかについて、世界中が一つの方向へ収束する必要はありません。日本を含むさまざまな国や地域の考え方を反映できることが重要です。こうした多様性が、世界全体を前に進める上でも大切だと考えています。

もう一つの重要なテーマが、フィジカルAIです。

物理世界でAIを活用することの重要性は広く認識されていますが、技術面でも実用化の面でも、多くの課題が残されています。だからこそ、今から本格的に開発を進め、実用化の段階で重要な役割を果たせる状態をつくる必要があります。

日本が強みとしてきた産業や技術領域を、AIによってどのようにさらに強化できるかは、今後の大きなテーマとなっています。

一方、フィジカルAIに到達する過程でも、汎用的なAI能力の向上は重要です。フィジカルAIは現在のAI開発と切り離された場所に突然現れるものではなく、現在の技術の延長線上に実現されると考えています。

これまでのAI開発も、多くの小さな改善の積み重ねによって進展してきました。AI技術には高い汎用性があり、ある分野の成果が別の分野のブレークスルーにつながることもあります。そうした積み重ねの中から、Transformerや推論技術のように、分野を横断して大きな飛躍を生み出す技術も現れてきました。今後も、このような変化をもたらす技術の登場が期待されていますし、私たちもここに貢献したいと考えています。

===

この取り組みの重要性を認めたとして、現在の国内の開発力で、世界と競争できるモデルをつくることは可能なのでしょうか。

私たちが優れた人材を集めてチームをつくり、一定の競争力のある規模の計算資源を確保し、データセットを設計したとしても、世界の先行モデルと競争することは容易ではありません。

だからこそ、あらゆる領域で同じ競争を続けるのではなく、日本が得意とする領域へ重点を移し、そこで能力を伸ばすことが重要だと考えています。

フィジカルAIでは、現場から得られるデータが必要だといわれます。しかし、単に学習用データを集めることでだけではなく、現場の問題設定を理解し、何を評価すべきかを定め、その結果を開発へ反映する必要があります。

例えば、ベンチマークの設計は重要な課題です。現在のAI開発では、適切に測定できる能力は大きく伸ばせる可能性があります。一方、現場で求められるのは、単一のベンチマーク上の性能ではなく、安定的に生産性や品質を向上させることです。現場で本当に必要な能力を定義し、測定する必要があります。

私自身、PFNの事業を通じて、さまざまな産業領域に携わってきました。その中で、現在の技術でつくれる製品と、現場で必要とされる製品との間に、大きなギャップがあることも見てきました。現場からのフィードバックを開発に反映し、このギャップを埋め続けることが重要です。

技術的な観点でいえば、将来のAIには、知識や動作を事前に学習しておくだけでなく、その場の環境に適応しながら学習する能力が必要です。

その一部はIn-Context Learningとして実現されていますが、さらに伸ばす必要があります。現実世界では、まったく同じ状況を再現することはほぼ不可能です。個々の環境に適応しながら能力や安定性を向上させることが必要です。これは継続学習とよばれる大きな課題分野です。

一方、現在の継続学習には、新しいことを学ぶことで過去の能力が失われたり、モデル更新によって想定外の挙動が生じたりする問題があります。

これらを解決するには、学習の仕組みをより深く理解し、その理解に基づいてモデルを更新する必要があります。完全な理解が難しくても、少なくとも挙動を評価し、制御できなければなりません。

また、マルチモーダルの統合も大きな課題です。現在の枠組みの延長線上で解けるのか、それとも全く新しい構想・処理が必要なのかは大きなテーマとなります。

さらに、これからAIが取り組む問題の多くは、データを取得できない、あるいは取得に大きなコストがかかるものになります。

現在のAIが大きく成功しているのは、膨大なデータを集めたり、強化学習などによって大量の試行錯誤を行ったりできる領域です。

代表例がソフトウェア開発です。ソフトウェア開発では、学習や評価のデータを大量に生成でき、仮想環境で安全かつ低コストに試行錯誤できるため、AIの活用が急速に進んでいます。

これに対して物理領域では、データ収集が難しく、安定的かつ安全に試行錯誤を繰り返すことも容易ではありません。そのため、データ生成が重要な役割を果たしていくとおもわれます。さらに、動画生成モデルなどを発展させた世界モデルが、大規模なシミュレーターとして機能する可能性があります。
また、仮想世界で行動するエージェントが徐々に活動領域を広げ、実世界へ進出してくることも考えられます。

===

今回、大規模な取り組みを始める一方で、その成果が外から見える形になるまでには、一定の時間がかかります。

挑戦的な技術を実際のモデルへ組み込む際には、既存技術との整合性や、大規模化した際の安定性など、多くの課題が生じます。また、計算資源の整備にも時間を要します。

初年度から、PFNをはじめとする国内で実績をあげてきた開発チームが集結し、これまで培ってきた技術や能力を生かし、具体的な成果を出していくことを目指します。しかし、新たな研究開発の成果が、モデルや製品としてリリースされるまでには、一定の時間が必要だと考えています。

進展が非常に速いAI開発において、この期間はとてつもなく長いものです。だからこそ、方向性を誤らないよう中長期的な視点を持ちながら、その間に起きる技術や環境の変化へ迅速に対応しなければなりません。

研究成果を開発へ取り込み、開発上の課題を再び研究へ戻していくという、研究と開発の連携が大きなテーマになります。実験的なモデルを数多く開発し、社会実装から得られるフィードバックを次の研究開発へ反映することも必要です。

今回、大きな支援を受けて開発を進める責任を自覚し、短期的な成果の創出と、中長期的な技術基盤の構築を両立させていきたいと考えています。

===

今回の開発に興味をお持ちの方は、ぜひお声がけください。

PFNを通じてノエトラのモデル開発に参加したい方や、PFNにおいて、その成果の社会実装に取り組みたい方を募集しています。

採用情報はスレッドに掲載します。

[Preferred Networks @PreferredNetJP]

【発表】PFNはNoetraに出資し、同社が推進するフィジカルAI向け国産マルチモーダル基盤モデルの開発に参画します。 https://t.co/FO4ic7oo31

[Mengsay Loem @loem_ms]

#YANS2026 に参加登録しました（4年ぶり）

[Yuki Arase (荒瀬 由紀) @Yuki_arase]

Wonderful analysis of ARR. Statistics help us better understand where we are and ground the discussion in data.

Is the ACL Rolling Review actually broken? https://t.co/s5iusJhMba

[YANS🌱言語処理若手シンポジウム @yans_official]

#YANS2026 プログラムの概要公開📢

プログラムの概要を公開しました！
ハッカソンやチュートリアル，ナイトセッション，招待ポスターなど今年も盛り沢山なプログラムを予定しています🌱
https://t.co/cYYdpDr4FE

[PFN Tech @preferred_jp]

【ブログ】PFNが開発する大規模言語モデルPLaMo 3シリーズについて、120Bモデル、および蒸留した31B事前学習モデルの開発成果を紹介します。開発したモデルの性能評価と、開発上の工夫についてまとめました。 https://t.co/qSMl9L8amL
【仲間募集】PFNでLLM開発に挑戦してみませんか？ https://t.co/tvq5hDoCcF

[Daisuke Okanohara / 岡野原 大輔 @hillbig]

Gemma 4 技術レポートから注目点をまとめる。

Gemma 4では、E2B、E4B、12B、31Bのdenseモデルと、26B-A4BのMoEモデルが公開されている。画像と音声に対応し、reasoning、長文コンテキスト、量子化、投機的デコーディングまで含み、実用性をかなり強く意識している。

Gemma 4では、MMLU Pro、AIME、LiveCodeBench、GPQA Diamondなど基本性能が大きく改善され、このサイズのオープンモデルとしてトップクラスの性能を達成している。

その上で、アーキテクチャにも重要な変更が入っている（ただし、モデルサイズごとに構成は異なる）

長文対応では、ローカル窓注意機構とフル注意機構を組み合わせている。比率は基本的に5:1で、E2Bのみ4:1である。フル注意機構側では、位置変化に対してよりゆっくり変化するp-RoPEを採用（p=0.25）。さらに、12B、26B-A4B、31Bでは、フル注意機構の層でKeyとValueを共通化する設計を採用している。これらの工夫により、グローバルKVキャッシュを最大37.5%削減している。

小型モデルのE2B、E4Bでは、層ごとに追加のトークン埋め込みを導入している。通常のトークン埋め込みに加えて、各層がトークンごとの補助的な埋め込みを参照する構成になっている。
そのため、総パラメータ数はE2Bで約5B、E4Bで約8Bだが、実効パラメータ数としてはそれぞれ2.3B、4.5Bとなる。MoEと似た思想で、トークン依存でパラメータを参照し、計算量とメモリ帯域コストを抑えている。

マルチモーダル設計では、12Bが画像と音声のエンコーダーフリー機構を採用したのが興味深い。
通常は画像や音声に専用エンコーダーを使うが、このモデルでは軽量な投影モジュールを使い、画像パッチや音声チャンクをできるだけ直接LLMの入力トークン列に変換している。
具体的には、画像ではパッチをベクトル化し、大きな線形変換一回でLLMの埋め込み空間へ射影する。その上で2D位置埋め込みを加え、LayerNormを通してLLM本体に入力する。
音声では、16kHz音声を40ミリ秒ごとのチャンクに分割する。40ミリ秒は640サンプルに相当するため、各チャンクは640次元の音声トークンとして扱われる。
このように各モーダルのパッチやチャンクをできるだけ直接LLMに入れ、モダリティ間の統合処理をLLM本体に担わせる方向で設計がされている。

推論効率向上のため、QAT、つまり量子化を考慮した学習と、MTP drafterが標準採用されている。MTP drafterは、メインモデルのKVキャッシュを参照しながら、複数トークンを先に生成する。

さらにE2B/E4Bでは、MTP drafterの最後の語彙射影も軽量化している。Gemma 4の語彙数は262kと大きいため、通常の次トークン予測では、d次元の隠れ状態から262k語彙すべてにlogitを出す必要があり最終行列積がd x 262kが必要である。これに対し、E2B/E4Bでは、語彙全体への射影をtoken clusters上のtop-k操作に置き換え、d x 4096に削減している。

コメント
===
Gemma 4は、完成度をあげつつも、エンコーダーフリーのマルチモーダル設計や、小型モデルにおける層ごとの埋め込みなど次に向けた新しいのも取り入れている。

Gemma 4は広く使われると思われるため、採用した手法は、今後の推論インフラエコシステムでも採用・サポートされる可能性が高い。特に、KVキャッシュ削減、投機的デコーディングを前提にしたモデルのエコシステムが整うだろう。

また、注意機構でKeyとValueを共通化する手法自体は、新しいものでなく、研究として提案されていたが、今回、Gemmaのような主要なオープンモデルで採用されると、広く使われる可能性がある。

理論的に面白いこととして、KeyとValueを共通化した場合、その注意機構はエネルギーベースモデルであるModern Hopfieldとして捉えることができる。これにより、反復更新や高速化の可能性も考えやすくなる。

[Daisuke OBA @dai0NLP]

Seoul-bound for #ICML2026 🇰🇷

🎉 Excited to present three co-authored papers:
* Budget-aligned test-time scaling in LLMs w/ @SoraMiyamo0831 @chokkanorg⏱️Tue, Jul 7. 10:30
* Human-like multi-image spatial reasoning in MLLMs w/ @stjohn2007 @silviasetitech @sponddd Prof. Inoue @chokkanorg⏱️Tue, Jul 7. 10:30
* Byte-treating ability in language models w/ @sangwhanmoon @Youmima1015 @7a7hi @chokkanorg ⏱️ Thu, Jul 9. 10:30

🎉 Also presenting some work on Diffusion LMs at the AI4Math workshop:
* Credit assignment for RL post-training of masked diffusion LMs w/ @frt03_ @chokkanorg ⏱️ Sat, Jul 11. 8:00

Always up for a chat about LLM reasoning & Diffusion LMs — come find me!

[Mengsay Loem @loem_ms]

@kazukifujii ありがとうございます!!

[Mengsay Loem @loem_ms]

今月からPFNにジョインしました

[Mengsay Loem @loem_ms]

@silviasenlp 頑張ります😄

[Mengsay Loem @loem_ms]

@nukonuko ありがとうございます!

[Hiroki Naganuma @_Hiroki11x]

北米PhD (ML) のインダストリ就活に関して、2025-26年の自分の就活を一例として書きました。昨今の job market、研究上の接点、ビザ、配偶者との「二体問題」など。どなたかの参考になれば幸いです。 https://t.co/f1QXDuchUu

[Masanari Oi @stjohn2007]

会誌「自然言語処理」に研究経緯の記事を寄稿しました。
研究始めたばかりの人 / これから始める人向けに書きました。
息抜きにぜひ 🤏
https://t.co/EBoDrPCkli

[Mengsay Loem @loem_ms]

本日をもって現職を退職しました。
2年間ありがとうございました！

[Mengsay Loem @loem_ms]

主著1本、共著1本を出させていただきました。ご協力いただいた皆さまに感謝です。

[さしすせ奏 @s_aiueo32]

【遅報】MIRU2026、弊社からは5本

[YANS🌱言語処理若手シンポジウム @yans_official]

#YANS2026 チュートリアルの講演者発表📢

⚪︎8/17(月) 午前 ※シンポジウム2日目
長屋隆之 氏（株式会社豊田中央研究所）

⚪︎8/18(火) 午後 ※シンポジウム3日目
岡野原大輔 氏（株式会社Preferred Networks/Matlantis株式会社）

詳細は下記からご確認できます📝
https://t.co/cYYdpDr4FE

[Kazuki Fujii @kazukifujii]

新しいOpen LLMが公開された場合に、どのようにそのモデルのarchitectureを理解するかについて解説した記事ですが、非常にためになりますね。
https://t.co/Y0r0MiDCT6

Sebastianさん @rasbt は、Open modelがリリースされると、いつも分かりやすい解説記事を数時間から数日の間に公開しているので、その方法論を真似ることができるのは非常に価値が高いと思います。

Technical Paperで読むべき点はアーキテクチャ以外にも多数ありますが、この方法論を拡張することで対応可能なので、LLMやVLMなどの動きが速いResearch Topicを扱っている研究者、学生にとってこちらのworkflowを念頭においておくことはかなり価値があることだと思います。