flowlight0

Codeforces/Kaggleのような競技プログラミングが好きです。ドミニオンオンラインも好きです。

[Jon Barron @jon_barron]

Hi all, I have a new result I'm excited to share. It turns out that *all existing implementations* of softmax and cross-entropy (that's JAX, PyTorch, textbooks, etc) have a subtle bug --- two bugs, actually. A simple rewrite fixes both, and eliminates "slingshots" when grokking:

[flowlight0 @flowlight_]

コーラ振り子でコーラが843,055,893m飛んだ！ #コーラ振り子ゲーム
https://t.co/j18jMaLODM

[おおさか @todo314]

井上裕太・河原林健一・宮下敦行・Bojan Mohar・Carsten Thomassen・Mikkel Thorupの論文“The Four Color Theorem with Linearly Many Reducible Configurations and Near-Linear Time Coloring”https://t.co/rjpYzEzumPが理論計算機科学のトップ会議FOCS2026のBest Paper Award受賞‼️おめでとう🎉🎉🎉

[morim @morim0000]

Kaggriculture 1位確定しました！
学部時代からやりたいと思っていたKaggleを社会人になってから本気ではじめられて、しかも1位も取れて感動です
チームメイト（大学同期と会社同期）と弊社と対戦相手の皆様に感謝
#kaggle #goldmedal - https://t.co/FMYleKlFSL

[宮本（本人） @smokeRDP]

笑った
「食事量は1日1200kcal以下、でも肥満」な人を14日間追跡調査　痩せない理由は……米コロンビア大などの研究 - ITmedia NEWS https://t.co/Df9jkArtrg

[伊藤いづも @izumo_ito]

秋冬くらいまでに連載もスローペースで復帰しつつ、人生を「いろいろやろうぜ」モードに変更したので、コミケに出たりFANBOX開設したり、色々チャレンジしてみようと思っております。これからも皆様に喜んでいただける作品を作っていきたいと思っていますので、引き続きよろしくお願いいたします。

[flowlight0 @flowlight_]

リモートの顔出しなし会議だとついついトップスピードで喋り続けてしまいがち。人の顔色を見てブレーキをかけれないので。

[flowlight0 @flowlight_]

英語の音声を聞くぞーって時に、無機質な翻訳音声が流れるとイラッとするな？せめてずんだもんにならんか？

[Daisuke Okanohara / 岡野原 大輔 @hillbig]

今回、Preferred Networks（PFN）は、Noetora（以下、ノエトラ）が進めるフィジカルAI向け国産マルチモーダル基盤モデルの開発に参画します。

また、私自身もNEDO事業における共同研究開発統括責任者としてノエトラのモデル開発に携わるとともに、産総研が主体となって実施する探求枠において、テクニカルディレクターの一人として研究開発を進めます。

その背景と今後について説明します。

これまでPFNでは、フルスクラッチでPLaMoを開発してきました。日本国内で、データ設計、学習プロセス、モデルに対するコントローラビリティを確保しながら、AIの開発と利用を進めることが重要だと考えているためです。現在では企業での利用に加え、ガバメントAI「源内」をはじめ、行政・公的機関における活用も進んでいます。

しかし、生成AI開発をめぐる競争は激しく、競争力のある製品を開発し続けるには、大量の計算資源を安定的に利用できる環境が欠かせません。
さらに、LLMやエージェント向け開発に加え、画像、音声、動画、触覚などを扱うマルチモーダル化やフィジカルAIの実現には、新しいモデルや学習手法が必要になると考えています。そのため、技術開発だけでなく、データの収集・設計や評価手法の構築にも取り組む必要があります。

こうした背景から、ノエトラでは、国内でのモデル開発能力を持つメンバーが結集して基盤モデルを開発します。
また、これと連携する形で産総研が国内外の数十チームと研究開発テーマに取り組んでいきます。計算資源として、すでに国内にある計算資源を活用するとともに、国内最大規模のVera Rubin世代の GPU 27500基からなる計算基盤を構築していき、それを活用したモデル開発を進めていきます。

PFNからも、事前学習、事後学習、研究開発を担当する多くのメンバーがノエトラに参加し、PLaMoの開発を通じて培った技術や成果を取り込んでいきます。他の参画企業が持つ技術や知見とも融合し、一社だけでは難しい開発を進めます。

私は開発戦略チームに所属し、他組織から参加するリーダーたちと連携しながら、全体の開発方針や設計を検討します。また、研究開発を行う探求枠においてもテクニカルディレクターの一人として研究テーマの設定や推進に関わります。

一社では難しい計算資源の確保や基盤モデルの開発、評価技術の開発、研究開発では協調し、その成果を用いた製品化や社会実装では各社が競争します。共通基盤を協調して引き上げ、その上で多様な製品やサービスを競い合う関係です。

PLaMoの開発と提供は今後も継続します。ノエトラで開発される、より競争力の高い基盤モデルをもとに、PFN独自のデータ、学習技術、製品化技術を組み合わせ、PLaMoをはじめとするさまざまな製品へ応用していきます。

===

現在のAIの状況の中で、日本がこの取り組みを進める意義はあるのでしょうか。

一つには、米国と中国がAI開発を強力に主導する中で、第三極となる選択肢をつくりたいという思いがあります。新たな選択肢を提供することは、世界のAI開発や供給構造の安定化にもつながります。

また、AIにどのような価値観や考え方を反映させるかについて、世界中が一つの方向へ収束する必要はありません。日本を含むさまざまな国や地域の考え方を反映できることが重要です。こうした多様性が、世界全体を前に進める上でも大切だと考えています。

もう一つの重要なテーマが、フィジカルAIです。

物理世界でAIを活用することの重要性は広く認識されていますが、技術面でも実用化の面でも、多くの課題が残されています。だからこそ、今から本格的に開発を進め、実用化の段階で重要な役割を果たせる状態をつくる必要があります。

日本が強みとしてきた産業や技術領域を、AIによってどのようにさらに強化できるかは、今後の大きなテーマとなっています。

一方、フィジカルAIに到達する過程でも、汎用的なAI能力の向上は重要です。フィジカルAIは現在のAI開発と切り離された場所に突然現れるものではなく、現在の技術の延長線上に実現されると考えています。

これまでのAI開発も、多くの小さな改善の積み重ねによって進展してきました。AI技術には高い汎用性があり、ある分野の成果が別の分野のブレークスルーにつながることもあります。そうした積み重ねの中から、Transformerや推論技術のように、分野を横断して大きな飛躍を生み出す技術も現れてきました。今後も、このような変化をもたらす技術の登場が期待されていますし、私たちもここに貢献したいと考えています。

===

この取り組みの重要性を認めたとして、現在の国内の開発力で、世界と競争できるモデルをつくることは可能なのでしょうか。

私たちが優れた人材を集めてチームをつくり、一定の競争力のある規模の計算資源を確保し、データセットを設計したとしても、世界の先行モデルと競争することは容易ではありません。

だからこそ、あらゆる領域で同じ競争を続けるのではなく、日本が得意とする領域へ重点を移し、そこで能力を伸ばすことが重要だと考えています。

フィジカルAIでは、現場から得られるデータが必要だといわれます。しかし、単に学習用データを集めることでだけではなく、現場の問題設定を理解し、何を評価すべきかを定め、その結果を開発へ反映する必要があります。

例えば、ベンチマークの設計は重要な課題です。現在のAI開発では、適切に測定できる能力は大きく伸ばせる可能性があります。一方、現場で求められるのは、単一のベンチマーク上の性能ではなく、安定的に生産性や品質を向上させることです。現場で本当に必要な能力を定義し、測定する必要があります。

私自身、PFNの事業を通じて、さまざまな産業領域に携わってきました。その中で、現在の技術でつくれる製品と、現場で必要とされる製品との間に、大きなギャップがあることも見てきました。現場からのフィードバックを開発に反映し、このギャップを埋め続けることが重要です。

技術的な観点でいえば、将来のAIには、知識や動作を事前に学習しておくだけでなく、その場の環境に適応しながら学習する能力が必要です。

その一部はIn-Context Learningとして実現されていますが、さらに伸ばす必要があります。現実世界では、まったく同じ状況を再現することはほぼ不可能です。個々の環境に適応しながら能力や安定性を向上させることが必要です。これは継続学習とよばれる大きな課題分野です。

一方、現在の継続学習には、新しいことを学ぶことで過去の能力が失われたり、モデル更新によって想定外の挙動が生じたりする問題があります。

これらを解決するには、学習の仕組みをより深く理解し、その理解に基づいてモデルを更新する必要があります。完全な理解が難しくても、少なくとも挙動を評価し、制御できなければなりません。

また、マルチモーダルの統合も大きな課題です。現在の枠組みの延長線上で解けるのか、それとも全く新しい構想・処理が必要なのかは大きなテーマとなります。

さらに、これからAIが取り組む問題の多くは、データを取得できない、あるいは取得に大きなコストがかかるものになります。

現在のAIが大きく成功しているのは、膨大なデータを集めたり、強化学習などによって大量の試行錯誤を行ったりできる領域です。

代表例がソフトウェア開発です。ソフトウェア開発では、学習や評価のデータを大量に生成でき、仮想環境で安全かつ低コストに試行錯誤できるため、AIの活用が急速に進んでいます。

これに対して物理領域では、データ収集が難しく、安定的かつ安全に試行錯誤を繰り返すことも容易ではありません。そのため、データ生成が重要な役割を果たしていくとおもわれます。さらに、動画生成モデルなどを発展させた世界モデルが、大規模なシミュレーターとして機能する可能性があります。
また、仮想世界で行動するエージェントが徐々に活動領域を広げ、実世界へ進出してくることも考えられます。

===

今回、大規模な取り組みを始める一方で、その成果が外から見える形になるまでには、一定の時間がかかります。

挑戦的な技術を実際のモデルへ組み込む際には、既存技術との整合性や、大規模化した際の安定性など、多くの課題が生じます。また、計算資源の整備にも時間を要します。

初年度から、PFNをはじめとする国内で実績をあげてきた開発チームが集結し、これまで培ってきた技術や能力を生かし、具体的な成果を出していくことを目指します。しかし、新たな研究開発の成果が、モデルや製品としてリリースされるまでには、一定の時間が必要だと考えています。

進展が非常に速いAI開発において、この期間はとてつもなく長いものです。だからこそ、方向性を誤らないよう中長期的な視点を持ちながら、その間に起きる技術や環境の変化へ迅速に対応しなければなりません。

研究成果を開発へ取り込み、開発上の課題を再び研究へ戻していくという、研究と開発の連携が大きなテーマになります。実験的なモデルを数多く開発し、社会実装から得られるフィードバックを次の研究開発へ反映することも必要です。

今回、大きな支援を受けて開発を進める責任を自覚し、短期的な成果の創出と、中長期的な技術基盤の構築を両立させていきたいと考えています。

===

今回の開発に興味をお持ちの方は、ぜひお声がけください。

PFNを通じてノエトラのモデル開発に参加したい方や、PFNにおいて、その成果の社会実装に取り組みたい方を募集しています。

採用情報はスレッドに掲載します。

[Preferred Networks @PreferredNetJP]

【発表】PFNはNoetraに出資し、同社が推進するフィジカルAI向け国産マルチモーダル基盤モデルの開発に参画します。 https://t.co/FO4ic7oo31

[Qingyu @qingyu_shi_]

ICPC Announced that:

“Permits increase in gold-silver-bronze medals from 4-4-4 to 4-6-10 due to increased global growth.]”

Ref: https://t.co/HtJyFjBm9O

[ピエ郎🤡Vtuber @PielowVT]

すまん色々言ったがやっぱり気になるからいいか？
『忍者と極道』『地元最高！』が許されるなら…デルウハ殿も別に良くない？
#マシュマロを投げ合おう
https://t.co/eS8Wz5W7Y1

[大須賀 覚 @SatoruO]

人類とがんの戦いの歴史に、大きなブレークスルーが生まれました

治療が非常に難しい膵癌に対して、新薬Daraxonrasibが大規模な臨床試験で、現在の化学療法を大きく上回る効果を示しました。転移性進行膵癌の患者さんで、1年生存率を18.7%→53.3%へと改善。発疹や口内炎など注意すべき副作用もありますが、膵癌治療に明るい光が差し込んだことは間違いありません

本薬は米国内で近くに承認される見込みが高まりました。世界の患者さんに届くにはまだまだ時間がかかると思われますが、膵癌患者さん達が本当に心待ちにしていた新薬の登場です。多くの患者さんの元に早く届くことを願います

膵癌はRasという遺伝子変異が原因で主に起こっているがんです。そのため、この原因を叩くお薬が長年研究されてきました。しかし、この創薬は技術的に簡単ではなく、40年以上にもわたる本当に長く苦しい戦いがありました。この苦しい挑戦に対して、世界のがん研究者の叡智が集結して、徐々に、徐々に、新技術を開発していって、ついに大きなブレークスルーへと繋がりました。我々がん研究者にとっても本当に嬉しい知らせです

[Preferred Networks @PreferredNetJP]

【発表】PFNは、大手町・丸の内・有楽町エリアを中心に地域熱供給事業を行う丸の内熱供給と、同社保有の大手町ビルサブプラントの操業自動化を進めています。2026年2月よりPlantPilot™の実機接続ガイダンス試験を開始しており、2027年度中の操業自動化を目指しています。
https://t.co/Dr1s7VHVFt
PFNは今後もAI技術を活用し、持続可能で高度化された都市インフラの実現に貢献していきます。

[flowlight0 @flowlight_]

@kota_ireland 🥺

[flowlight0 @flowlight_]

@kota_ireland 給料三分の一なら…

[flowlight0 @flowlight_]

@garasubo 婚活はよ

[flowlight0 @flowlight_]

かなC

[恵比寿新聞 @ebisushinbun]

(((速報)))
恵比寿東口のサイゼリアが5月11日で閉店。

[flowlight0 @flowlight_]

ここ最近いろいろ考えたけど、やっと前進できる状態に戻った感じがあるなぁ。反省を生かしてやっていき！

[flowlight0 @flowlight_]

人間になりたみ