ビーム | Seiya Tokui

Preferred Networks リサーチャー。深層学習とそのソフトウェアスタックに興味があります。sub: @_be4m

[ビーム | Seiya Tokui @beam2d]

仕事とか機械学習以外の話はこっちに書いてきます @_be4m

[Preferred Networks @PreferredNetJP]

【発表】PLaMo翻訳の利用上限を大幅に引き上げたProプランを提供開始しました。加えて、Liteプランのファイル翻訳件数上限も大きく引き上げました。ライブ音声翻訳と英文添削も新たに追加され、コスト効率の高い翻訳特化型の国産LLMで日々の翻訳を強力にサポートします。
https://t.co/4zMNGSS4uF

[Preferred Networks @PreferredNetJP]

【発表】国産フルスクラッチ開発の生成AI基盤モデルPLaMo 3.0 Primeの提供を開始しました。
1⃣API経由またはオンプレで利用可能
2⃣複雑なタスクに対応するReasoningモデル、応答速度の速いNon-reasoningモデルを提供
3⃣高い日本語性能とコストパフォーマンスを両立
4⃣コンテキスト長を64kから256kに拡張
5⃣危険情報に対する安全性向上
https://t.co/r7IeV3OdwC
AIエージェントや企業の実務利用を想定した機能強化がされていますのでおぜひ試しください

[PFN Tech @preferred_jp]

【ブログ】国産フルスクラッチ開発の生成AI基盤モデルPLaMo™︎で、初めてReasoningモデルとなった3シリーズと、これまでのモデルとの違いについて開発チームがブログを書きました。https://t.co/y6vfY8RflD

国産生成AI基盤モデルPLaMo 3.0 Prime β版は無償利用を前提に現在モニター企業様を募集中です。ぜひご応募ください。
https://t.co/YiWFA5e4yz

[Preferred Networks @PreferredNetJP]

本日から宇都宮で開催中の言語処理学会年次大会 #NLP2026 にPFNブースを出展中です。生成AI基盤モデルPLaMo™、PLaMo翻訳ほかPFNの複数のプロジェクトを紹介しています。1階大ホール西のブース37（右奥あたり）に是非お立ち寄りください！
@anlpmeeting

[Preferred Networks @PreferredNetJP]

昨年リリース10周年を迎えたCuPy @CuPy_Team のv14をリリースしました。Pythonによるデータサイエンスのエコシステムを支える基盤ライブラリとして、世界中で支持され、累積6000万DLまで成長。v14では最新環境への対応、50以上の新API追加をしています。
https://t.co/0eimFPP56P
詳細はブログ記事をご覧ください：
https://t.co/9Exe2JZ5vA

[Daisuke Okanohara / 岡野原 大輔 @hillbig]

今回執筆した「学習の熱力学理論シリーズ」は、非平衡熱力学の枠組みを用いて、学習という現象を有限時間における不可逆過程として捉え直そうとする試みである。

従来、機械学習はデータからパターンを抽出し、よりよい内部表現や知識を獲得するプロセスとして理解されてきた。しかし情報理論には、「決定論的変換は情報量を増やすことができない」という原理があり、学習によって新しい知識が生まれるという直感との間には、一見すると矛盾が存在する。

この問題に対して、先行研究では、有限時間・有限計算のもとで抽出可能な知識量を Epiplexity として定義することで、この矛盾に一つの整理を与えてきた。

今回の研究ではさらに一歩進め、学習とはモデルのアンサンブルにおけるパラメータ分布が時間とともに変化していく輸送過程であり、その過程が有限時間で実行される以上、本質的に不可逆であるという視点から学習を捉える。

通常、モデルの重みは単一の点として考えられ、この点が目的関数の勾配に従って更新されていく。しかしこの学習過程は、初期値やデータの順序、ノイズなどによって多様な結果を取りうる。こうした多様な結果、いわば「学習のパラレルワールド」を確率分布として捉えると、学習とは分布が時間とともに空間内を移動し、目的関数の値が低い領域（basin）へと集中していく過程として理解できる。

ここで重要なのは、この移動が不可逆であるという点である。一度確率質量が特定の領域に集中すると、元の広がった分布へ戻るためには追加のコストが必要となる。有限時間のもとでは、この過程は本質的に元に戻すことができない。

この「確率分布の有限時間における不可逆輸送」という観点に立つと、非平衡熱力学で導入されてきたエントロピー生成の枠組みを自然に導入できる。そして、ある状態から別の状態へ有限時間で輸送する際に必要となる不可逆コストには理論的な下限が存在し、これを Epistemic Speed Limit （ESL）と名付けた。

このESL下限は、学習アルゴリズムの種類には依存せず、初期分布と最終分布の幾何学的距離によって決まる。どれほど優れた学習手法を用いたとしても、有限時間での学習には避けられない不可逆コストが存在することをこの下限は示している。

例えば、知能の爆発的成長についての議論がある。仮にデータ量やモデル容量、計算力が無限に近い状況であっても、有限時間の中で知能を構築する限り、不可逆コストを回避することはできない。そのため、知能が瞬時に無限に拡張することは、この理論的制約と整合しない。（ただし、現実にはほぼ無限に見えるような急速な成長が観測されることは十分にありうるが）

また、本研究は継続学習における忘却問題や、学習の難しさにも新しい解釈を与える。従来、これらの問題は情報の消失や、パラメータの変化として理解されてきたが、本研究ではそれを「到達可能性の喪失」として捉える。学習が進むにつれて分布が過度に集中すると、他の状態へ移行するための輸送コストが増大し、新しい課題への適応が困難になる。これは、学習における可塑性が失われる幾何学的な理由を示している。この点については、次の論文でより詳しく扱う予定である。

本研究は、熱力学、最適輸送理論、機械学習を統合する枠組みを提示するものである。同時に、これまでヒューリスティックに議論されてきた学習効率（データ設計、蒸留、カリキュラム学習）や継続学習の難しさ、学習の可塑性といった現象を、統一的な理論のもとで理解することを目指している。

この研究はシリーズとして展開していく予定であり、この枠組みに基づいて機械学習のさまざまなテーマを扱っていく。

[PLaMo @PLaMoLLM]

リリース延期していたPLaMo™翻訳のPDF翻訳機能ですが、本日より提供を開始しました！🎉
長らくお待たせして申し訳ありません🙇‍♂️

論文などのドキュメントの英日翻訳に力を入れており、原文ファイルのレイアウトのままに読みやすい日本語に翻訳されます。ぜひお試しください‼️
https://t.co/HcrP4QB06V

[Preferred Networks @PreferredNetJP]

【発表】PFNがフルスクラッチ開発する国産LLMのPLaMo™ 2.1 Primeを本日リリースしました。
AIエージェント機能強化により、ユーザーの指示に基づき、Web検索、社内DB検索、外部API呼び出しなど、最適なツールを自動選択・連携し、取得した情報から包括的な回答を生成します。
https://t.co/W7VSPtPl37

[Preferred Networks @PreferredNetJP]

【発表】PLaMo™翻訳のサブスクリプションサービスの提供を2025年10月10日に開始します。
　Freeプラン: 無料、月間利用上限あり
　Liteプラン: 月額980円（税抜）
利用量無制限の無料トライアルはサブスクリプションサービス開始までご参加いただけます。
https://t.co/aXHA3WOdYm

[PLaMo @PLaMoLLM]

これまでPFNのtech blogで紹介してきたPLaMo 2に関するものをまとめてarXivに公開しました。

多くの方に利用していただいているPLaMo翻訳も、このPLaMo 2ベースのモデルとなっています。

ご興味のある方は是非ご覧ください。

論文へのリンクはリプライ欄へ👇

#PLaMo #国産LLM

[Jxiv (JST preprint server) @Jxiv_jst]

PLaMo Translate: 翻訳特化大規模言語モデルの開発
https://t.co/EROvJlHMhn

[Preferred Networks @PreferredNetJP]

【発表】日本語に強いPLaMo翻訳のブラウザ拡張機能を、ChromeとFirefox向けに提供開始しました。期間限定の無料トライアルとしてページ数無制限で手軽に利用可能です。是非お試しください！
https://t.co/0XxDLcDI0P

[Daisuke Okanohara / 岡野原 大輔 @hillbig]

LLM訓練時にデータを説明するメタデータを挿入することで学習効率が変わるのかを調べた東大鈴木研とPFNの共同研究がCOLM 2025に採択されました。学習効率を改善する利点が大きいが、隠れた情報を推定する能力を学習する機会が失われ、後続タスクの条件次第でトレードオフがあることを示しました

[Taiji Suzuki @btreetaiji]

訓練時に文章の文頭にmeta-dataを挿入することで学習の効率がどのように変化するかを調べた研究がCOLM2025に採択されました．PFNの方々と共同研究させていただきました．
https://t.co/Uo0PCk1QxF

[ビーム | Seiya Tokui @beam2d]

Our paper on metadata conditioning in LM pretraining https://t.co/FoQ0loamZA is accepted to CoLM 2025! Huge thanks to all coauthors and reviewers!

[ビーム | Seiya Tokui @beam2d]

@k_e_t_ おめでとうございます！！🎉🎉🎉

[ビーム | Seiya Tokui @beam2d]

@matsui_kota @shima__shima https://t.co/JpMGWCbhWL ではいかがでしょうか？(フォーマット保ったまま翻訳は結構頑張ってるのでできないかなと……)

[Preferred Networks @PreferredNetJP]

【発表】翻訳特化型LLM「PLaMo™翻訳」を公開・発売しました。
🇯🇵基盤モデルPLaMo由来の高い日本語力で高品質な翻訳を実現
🌐専用サイトで無償試用可能
🏢オンプレ環境で社内文書も安心して翻訳
💬流暢で原文の形式を損なわない出力是非お試しください！ @PLaMoLLM
https://t.co/fy36GEl8XM

[Preferred Networks @PreferredNetJP]

【発表】国産LLM PLaMo™の最新版PLaMo 2.0 Primeを公開、従来の1/4以下の価格で提供します。
日本語ベンチマークでGemma3-27B、Qwen2.5-32B、GPT-4o miniなどを上回るスコアを達成したモデルはGENIAC第2期で開発しました。
GENIAC-PRIZE応援キャンペーンも実施しています！
https://t.co/uJPAh9P0qd

[Preferred Networks @PreferredNetJP]

【発表】生成AIを使った定性データ分析サービスPreferredAI™ Insight Scanの提供を開始しました。口コミ、コールセンター履歴、パブコメ、特許情報などの膨大なテキストデータをすばやく分類・分析し、インサイトの発掘を支援します。
詳細やユーザー様の声はこちら: https://t.co/D9PViMQGII