disktnk屋のひとりごと

どこにでもいる一般人

[disktnk屋のひとりごと @disktnk]

plamo翻訳したページをスマホで見たかったんや https://t.co/gLvu1nYyoj

[Takuya Akiba @iwiwi]

Optuna Meetupで登壇させてもらいます！Optunaを作ったときに何をやりたかったのか、実際どうだったのか、今やっていることにどう繋がっているのか、あたりから何か話せればと思います。Optunaを使っている方も、最近知った方もぜひ！ https://t.co/FsR1YaTXAs

[disktnk屋のひとりごと @disktnk]

ガジェットのボタン位置は覚えられず、なんならジャンプボタンとすら間違える感じのまま、難易度レイダーでぬくぬく無限食堂まできたワイ。レベル50超えても激辛がクリアできる気配がない。 #スプラトゥーンレイダース

[disktnk屋のひとりごと @disktnk]

@_kohta 引用とはずれますが、google calendarでも、色分けすると、色ごとに集計してくれて、割と便利だったりします。そのキャプチャをchatgptとかに投げてコンサルしてもらったりしてます。

[disktnk屋のひとりごと @disktnk]

PMBOK8のアップデートメモ https://t.co/J5vv1Zq4j3

[Daisuke Okanohara / 岡野原 大輔 @hillbig]

今回、Preferred Networks（PFN）は、Noetora（以下、ノエトラ）が進めるフィジカルAI向け国産マルチモーダル基盤モデルの開発に参画します。

また、私自身もNEDO事業における共同研究開発統括責任者としてノエトラのモデル開発に携わるとともに、産総研が主体となって実施する探求枠において、テクニカルディレクターの一人として研究開発を進めます。

その背景と今後について説明します。

これまでPFNでは、フルスクラッチでPLaMoを開発してきました。日本国内で、データ設計、学習プロセス、モデルに対するコントローラビリティを確保しながら、AIの開発と利用を進めることが重要だと考えているためです。現在では企業での利用に加え、ガバメントAI「源内」をはじめ、行政・公的機関における活用も進んでいます。

しかし、生成AI開発をめぐる競争は激しく、競争力のある製品を開発し続けるには、大量の計算資源を安定的に利用できる環境が欠かせません。
さらに、LLMやエージェント向け開発に加え、画像、音声、動画、触覚などを扱うマルチモーダル化やフィジカルAIの実現には、新しいモデルや学習手法が必要になると考えています。そのため、技術開発だけでなく、データの収集・設計や評価手法の構築にも取り組む必要があります。

こうした背景から、ノエトラでは、国内でのモデル開発能力を持つメンバーが結集して基盤モデルを開発します。
また、これと連携する形で産総研が国内外の数十チームと研究開発テーマに取り組んでいきます。計算資源として、すでに国内にある計算資源を活用するとともに、国内最大規模のVera Rubin世代の GPU 27500基からなる計算基盤を構築していき、それを活用したモデル開発を進めていきます。

PFNからも、事前学習、事後学習、研究開発を担当する多くのメンバーがノエトラに参加し、PLaMoの開発を通じて培った技術や成果を取り込んでいきます。他の参画企業が持つ技術や知見とも融合し、一社だけでは難しい開発を進めます。

私は開発戦略チームに所属し、他組織から参加するリーダーたちと連携しながら、全体の開発方針や設計を検討します。また、研究開発を行う探求枠においてもテクニカルディレクターの一人として研究テーマの設定や推進に関わります。

一社では難しい計算資源の確保や基盤モデルの開発、評価技術の開発、研究開発では協調し、その成果を用いた製品化や社会実装では各社が競争します。共通基盤を協調して引き上げ、その上で多様な製品やサービスを競い合う関係です。

PLaMoの開発と提供は今後も継続します。ノエトラで開発される、より競争力の高い基盤モデルをもとに、PFN独自のデータ、学習技術、製品化技術を組み合わせ、PLaMoをはじめとするさまざまな製品へ応用していきます。

===

現在のAIの状況の中で、日本がこの取り組みを進める意義はあるのでしょうか。

一つには、米国と中国がAI開発を強力に主導する中で、第三極となる選択肢をつくりたいという思いがあります。新たな選択肢を提供することは、世界のAI開発や供給構造の安定化にもつながります。

また、AIにどのような価値観や考え方を反映させるかについて、世界中が一つの方向へ収束する必要はありません。日本を含むさまざまな国や地域の考え方を反映できることが重要です。こうした多様性が、世界全体を前に進める上でも大切だと考えています。

もう一つの重要なテーマが、フィジカルAIです。

物理世界でAIを活用することの重要性は広く認識されていますが、技術面でも実用化の面でも、多くの課題が残されています。だからこそ、今から本格的に開発を進め、実用化の段階で重要な役割を果たせる状態をつくる必要があります。

日本が強みとしてきた産業や技術領域を、AIによってどのようにさらに強化できるかは、今後の大きなテーマとなっています。

一方、フィジカルAIに到達する過程でも、汎用的なAI能力の向上は重要です。フィジカルAIは現在のAI開発と切り離された場所に突然現れるものではなく、現在の技術の延長線上に実現されると考えています。

これまでのAI開発も、多くの小さな改善の積み重ねによって進展してきました。AI技術には高い汎用性があり、ある分野の成果が別の分野のブレークスルーにつながることもあります。そうした積み重ねの中から、Transformerや推論技術のように、分野を横断して大きな飛躍を生み出す技術も現れてきました。今後も、このような変化をもたらす技術の登場が期待されていますし、私たちもここに貢献したいと考えています。

===

この取り組みの重要性を認めたとして、現在の国内の開発力で、世界と競争できるモデルをつくることは可能なのでしょうか。

私たちが優れた人材を集めてチームをつくり、一定の競争力のある規模の計算資源を確保し、データセットを設計したとしても、世界の先行モデルと競争することは容易ではありません。

だからこそ、あらゆる領域で同じ競争を続けるのではなく、日本が得意とする領域へ重点を移し、そこで能力を伸ばすことが重要だと考えています。

フィジカルAIでは、現場から得られるデータが必要だといわれます。しかし、単に学習用データを集めることでだけではなく、現場の問題設定を理解し、何を評価すべきかを定め、その結果を開発へ反映する必要があります。

例えば、ベンチマークの設計は重要な課題です。現在のAI開発では、適切に測定できる能力は大きく伸ばせる可能性があります。一方、現場で求められるのは、単一のベンチマーク上の性能ではなく、安定的に生産性や品質を向上させることです。現場で本当に必要な能力を定義し、測定する必要があります。

私自身、PFNの事業を通じて、さまざまな産業領域に携わってきました。その中で、現在の技術でつくれる製品と、現場で必要とされる製品との間に、大きなギャップがあることも見てきました。現場からのフィードバックを開発に反映し、このギャップを埋め続けることが重要です。

技術的な観点でいえば、将来のAIには、知識や動作を事前に学習しておくだけでなく、その場の環境に適応しながら学習する能力が必要です。

その一部はIn-Context Learningとして実現されていますが、さらに伸ばす必要があります。現実世界では、まったく同じ状況を再現することはほぼ不可能です。個々の環境に適応しながら能力や安定性を向上させることが必要です。これは継続学習とよばれる大きな課題分野です。

一方、現在の継続学習には、新しいことを学ぶことで過去の能力が失われたり、モデル更新によって想定外の挙動が生じたりする問題があります。

これらを解決するには、学習の仕組みをより深く理解し、その理解に基づいてモデルを更新する必要があります。完全な理解が難しくても、少なくとも挙動を評価し、制御できなければなりません。

また、マルチモーダルの統合も大きな課題です。現在の枠組みの延長線上で解けるのか、それとも全く新しい構想・処理が必要なのかは大きなテーマとなります。

さらに、これからAIが取り組む問題の多くは、データを取得できない、あるいは取得に大きなコストがかかるものになります。

現在のAIが大きく成功しているのは、膨大なデータを集めたり、強化学習などによって大量の試行錯誤を行ったりできる領域です。

代表例がソフトウェア開発です。ソフトウェア開発では、学習や評価のデータを大量に生成でき、仮想環境で安全かつ低コストに試行錯誤できるため、AIの活用が急速に進んでいます。

これに対して物理領域では、データ収集が難しく、安定的かつ安全に試行錯誤を繰り返すことも容易ではありません。そのため、データ生成が重要な役割を果たしていくとおもわれます。さらに、動画生成モデルなどを発展させた世界モデルが、大規模なシミュレーターとして機能する可能性があります。
また、仮想世界で行動するエージェントが徐々に活動領域を広げ、実世界へ進出してくることも考えられます。

===

今回、大規模な取り組みを始める一方で、その成果が外から見える形になるまでには、一定の時間がかかります。

挑戦的な技術を実際のモデルへ組み込む際には、既存技術との整合性や、大規模化した際の安定性など、多くの課題が生じます。また、計算資源の整備にも時間を要します。

初年度から、PFNをはじめとする国内で実績をあげてきた開発チームが集結し、これまで培ってきた技術や能力を生かし、具体的な成果を出していくことを目指します。しかし、新たな研究開発の成果が、モデルや製品としてリリースされるまでには、一定の時間が必要だと考えています。

進展が非常に速いAI開発において、この期間はとてつもなく長いものです。だからこそ、方向性を誤らないよう中長期的な視点を持ちながら、その間に起きる技術や環境の変化へ迅速に対応しなければなりません。

研究成果を開発へ取り込み、開発上の課題を再び研究へ戻していくという、研究と開発の連携が大きなテーマになります。実験的なモデルを数多く開発し、社会実装から得られるフィードバックを次の研究開発へ反映することも必要です。

今回、大きな支援を受けて開発を進める責任を自覚し、短期的な成果の創出と、中長期的な技術基盤の構築を両立させていきたいと考えています。

===

今回の開発に興味をお持ちの方は、ぜひお声がけください。

PFNを通じてノエトラのモデル開発に参加したい方や、PFNにおいて、その成果の社会実装に取り組みたい方を募集しています。

採用情報はスレッドに掲載します。

[Preferred Networks @PreferredNetJP]

【発表】PFNはNoetraに出資し、同社が推進するフィジカルAI向け国産マルチモーダル基盤モデルの開発に参画します。 https://t.co/FO4ic7oo31

[disktnk屋のひとりごと @disktnk]

ちょい前だけど、最近某新聞に有識者コメントが載る、という実績を解除した

[Preferred Networks @PreferredNetJP]

【発表】PFNはトヨタ自動車の未来創生センターとAI半導体MN-Core Lシリーズを活用したフィジカルAIの高速化に関する共同研究を開始しました。超高帯域幅メモリのMN-Core Lシリーズを、オンプレミス環境の高速推論が求められるロボットで検証します。
https://t.co/R6x5m3xJGA

[disktnk屋のひとりごと @disktnk]

夜の踊り子ミームで湧く今、カポエラーもまた流行ってほしい。> https://t.co/mvuApcSITD

[OptunaAutoML @OptunaAutoML]

Eri Sawada introduces the constant-liar and Kriging-believer approaches to Optuna's GPSampler. These methods enable efficient parallelization for single-objective, multi-objective, and constrained optimization. Learn more in our article: https://t.co/thPAVLfwra

[disktnk屋のひとりごと @disktnk]

モデルオブザマインド面白かった https://t.co/skAdZK3fKV

[disktnk屋のひとりごと @disktnk]

デジタル機器は気が散るから、らしい https://t.co/UqUeCRWkBB

[Takuya Akiba @iwiwi]

GENIAC通信に取材頂いた記事が公開されました。最近またモデル開発がアツいと思ってる理由とかを話してます。

❌開発をリード
⭕️天才を集めてあとは応援

[Daisuke Okanohara / 岡野原 大輔 @hillbig]

フルスクラッチで開発した新モデル PLaMo 3.0 Prime β をリリースしました！今回は特にReasoning 対応 を進め、性能を大きく改善しています。モニター企業も募集 します。技術詳細はリンク先のブログにまとめています。

・NICTとの共同研究 によりデータセットを共同構築し、事前学習モデルを開発
・Qwen3-235B-A22B-Thinking / gpt-oss-120b と比較して、指示追従、対話能力では同等以上
（Japanese MTBench など従来系ベンチマークはほぼ上限）
・一方で、複数ターンのツール利用、数学、STEM はまだ改善余地があり、引き続き強化していきます

今後も開発を加速していきます。
また、一緒に作っていく仲間も募集しています。興味のある方はぜひご応募ください。

募集領域
・データ設計
・事前学習
・事後学習
・推論基盤
・サービス開発
・VLM

[PFN Tech @preferred_jp]

【ブログ】国産フルスクラッチ開発の生成AI基盤モデルPLaMo™︎で、初めてReasoningモデルとなった3シリーズと、これまでのモデルとの違いについて開発チームがブログを書きました。https://t.co/y6vfY8RflD

国産生成AI基盤モデルPLaMo 3.0 Prime β版は無償利用を前提に現在モニター企業様を募集中です。ぜひご応募ください。
https://t.co/YiWFA5e4yz

[disktnk屋のひとりごと @disktnk]

ポエムその2 https://t.co/WyRPt3BkUp

[disktnk屋のひとりごと @disktnk]

ポエム https://t.co/Q278zzS5QC

[disktnk屋のひとりごと @disktnk]

話題のカーニーさんのスピーチ、関西弁訳が待たれる https://t.co/2MaMCxWrpE

[disktnk屋のひとりごと @disktnk]

なんだかんだで愛社精神って大事 https://t.co/76hoccaeTg