Shunta Saito

Researcher at Preferred Networks. Ph.D. in Engineering.

[PLaMo @PLaMoLLM]

翻訳特化型LLM「PLaMo 3 Translate」が、オープンウェイト公開からわずか1週間で【10万ダウンロード】を達成しました🎉🚀
たくさんのご活用ありがとうございます！
手軽に使える公式サービス「PLaMo翻訳」も提供中です。開発用途やビジネス利用など、目的に合わせてぜひお試しください！

[Preferred Networks @PreferredNetJP]

📈翻訳特化型LLM PLaMo 3 Translateが10万ダウンロードを達成しました！0.8B〜31Bの4サイズから選べてローカルでも動く世界最高クラスの翻訳モデルです。 https://t.co/kTreiHlc5e
このモデルを使った公式の翻訳サービスも提供しています。ブラウザ拡張、ファイル翻訳、英文添削、ライブ音声翻訳、会議翻訳など幅広く提供しているので、ぜひお試しください！https://t.co/1ddNxMJ2aT

ダウンロードしてローカルで試す場合はHugging Faceから🤗

[GIGAZINE(ギガジン) @gigazine]

ゼロから独自開発した国産AIでトップクラスの日本語翻訳精度を実現する「PLaMo翻訳」を開発したPreferred Networksエンジニアに編集長が根掘り葉掘り聞いてみたよインタビュー

[Daisuke Okanohara / 岡野原 大輔 @hillbig]

新しいハードウェアにおけるソフトウェア対応の難しさは、もはや普及を阻む障壁ではありません。

私たちの新しいハードウェアにおいても、多様なAIモデルやタスクに迅速かつ柔軟に対応できるようになりました。

[PFN Tech @preferred_jp]

【ブログ】新しいLLMが出るたびに、MN-Coreで動かすための移植に時間がかかる。その課題にAI agentで挑み、MN-Core L1000向けに711モデルを移植しました。ピーク時には100ほどのagentが並行して作業。対象とした約2300モデルについて、ダウンロード数の99%をカバーしました。
https://t.co/n3GJcJWIVi
【仲間募集】PFNでAIコンパイラを作ってみませんか？
https://t.co/tvq5hDoCcF

[Preferred Networks @PreferredNetJP]

【受賞】PFNが開発するマウス尾静脈自動注射システム「AUTiv™（オーティヴ）」が、第12回ロボット大賞「日本機械工業連合会 会長賞」を受賞🏆
日本ロボット学会「実用化技術賞」の受賞に続き、AUTivの高精度な薬液投与、穿刺ミスや実験者の針刺し事故低減への貢献、国内納入実績・追加製造など事業化が順調に進んでいる点などが評価されました。
https://t.co/M0IqZlfloz

[Shunta Saito @mitmul]

> 短期間でのコード移植と高い学習性能を両立し、AI開発においてMN-Core 2がGPUと並ぶ新たな選択肢となりうることを示しました。

胸熱

[PFN Tech @preferred_jp]

【ブログ】金融特化型の小規模言語モデルPLaMo 3.0 Finをリリースし、モデル重みをHugging Faceで公開しました。日本語でreasoningを行って回答する金融特化モデルで、ツール利用にも対応しています。
動作例や開発に関する技術ブログ：https://t.co/NZrjrGSoLy
Hugging Face：https://t.co/aYwr1g25u5

[PFN Tech @preferred_jp]

【ブログ】金融特化型の小規模言語モデルPLaMo 3.0 Finをリリースし、モデル重みをHugging Faceで公開しました。日本語でreasoningを行って回答する金融特化モデルで、ツール利用にも対応しています。
動作例や開発に関する技術ブログ：https://t.co/NZrjrGSoLy
Hugging Face：https://t.co/aYwr1g25u5

[Preferred Networks @PreferredNetJP]

【発表】国産の金融特化型小規模言語モデルPLaMo 3.0 Finをオープンウェイトで公開しました。金融実務への実装を想定し、クラウド閉域・オンプレミス環境で利用可能です。本モデルは、Reasoning機能などの指示追従学習を自社開発AI半導体MN-Core 2で実施しています。
https://t.co/6xvLIyuWoE

[PLaMo @PLaMoLLM]

GIGAZINEに翻訳特化型LLM「PLaMo 3 Translate」を取り上げてもらいました🚀
用途に合わせて選べる4サイズの中で最小の「0.8B」のモデルも非常に高い翻訳品質を誇ります💪
ネット接続がないスマートフォン上でも高品質・高速な翻訳を実現することが可能ですので、ぜひお試しください！

[Shunta Saito @mitmul]

床はいい。それより下がないので���ものが落ちない。床に物を置くなと言われることがあるが、それでも床に物を置く。落ちないから。大事なものほど床に置くべきである。

[piqcy @icoxfog417]

PFN が公開した翻訳特化LLMをMCP化する実装を公開しました。AWS へワンクリックデプロイできます。

翻訳は普通のLLMでできますが、翻訳でトークン使うのもったいないケースで良いかなと。実装はPLaMoに限らず Hugging Face のモデルを汎用的にMCP化できるよう実装しました

https://t.co/73ScJeE6RH

[Daisuke Okanohara / 岡野原 大輔 @hillbig]

LLMの事前学習データに少量の悪意ある文書を混入させることで、その後のSFT、DPO、強化学習を経ても消えないバックドアを仕込み、AIエージェントに攻撃者が指定した外部スクリプトを実行させられることが示された。

“Agentic Backdoors via Pretraining Poisoning”

本研究では、0.6B、1.7B、4BパラメータのモデルをFineWebの100Bトークンでゼロから事前学習し、その後、攻撃データを一切含まないSFT、DPO、GRPOによってCLIエージェントを構築した。

この際、事前学習データのわずか0.1%を汚染することで、4Bモデルでは特定のファイル��スを含む入力に対し、攻撃者が指定した外部スクリプトを実行するコマンドを、単一の生成で50.9%、32回の生成のうち少なくとも1回では92.7%の確率で出力した。

また、通常の入力では攻撃コマンドはほぼ生成されず、モデルの一般能力やCLIタスクの性能も、汚染されていないモデルとほとんど変わらなかった。このことから、通常のベンチマークではバックドアを発見することが難しいと考え���れる。

攻撃手法として、従来のDemonstration-based Poisoningでは、特定の文字列を含むリクエストに対し、攻撃者が指定したシェルコマンドを出力するような応答パターンを模倣させる。

これに対し、論文が提案するDeclaration-based Poisoningでは、「この条件では、このコマンドを実行する」というルールを通常の技術文書の中に記述する。例えば、Gitのコミットメッセージやシステム管理のマニュアルなどで、特定のファイルパスに対して特定のスクリプトを実行することが正常な運用であるかのように記述する。

Demonstration-based Poisoningでは、後続の正常なSFTによって応答パターンが上書きされやすいと考えられる。一方、Declaration-based Poisoningでは、特定の条件と動作の関係をモデルに知識として学習させる。そのため、後続のSFTによって適切なツールの利用���法を学習しても、その知識は修正されず、むしろ知識を実際の行動に変換できるようになると考えられる。

実験では、20種類のドメイン、各500トピック、50種類の文書スタイルを組み合わせ、多様な攻撃文書を生成してい���。

4Bモデルにおける攻撃成功率（Pass@32）は、Demonstration-based Poisoningの3.2%に対し、Declaration-based Poisoningでは92.7%と大幅に高かった。

さらに、このバックドアは特殊な文字列だけでなく、通常のファイルパスに含まれる文字列でも発動するように設定できる。例えば、特定の文字列を含むファイルパスが入力に現れるだけで、バックドアが発動するように仕込むことができる。しかも、学習時に登場しなかった新しいファイルパスに対しても攻撃が成立した。

事前学習データへの混入率を0.1%から減らすと、攻撃成功率は大きく低下する。しかし、0.0005%（2,500文書）という比較的小さなデータ量でも、成功率は低いものの、バックドアが残存することが確認されている。

コメント
===
事前学習データに悪意ある文書を一部混入させるだけで、後続の学習を経ても消えないバックドアを仕込むことができ、しかも通常の性能評価では検出が難しいという問題を示した研究である。

モデル開発側では、学習データの信頼性管理に加え、開発したモデルにバックドアが存在しないかを評価する技術も、今後ますます重要になるだろう。

以前紹介した、ニューラルネットワークを使ってモデルの安���性を検証するような技術も、こうした問題への対策として必要になるかもしれない。

さらに、事前学習データが完全に安全であることを保証するのは困難であり、Post-trainingによってバックドアを除去できる保証もないため、エージェントの安全性をモデル自身の判断能力だけに依存させず、実行時の権限制御や監視を組み合わせるといった設計が不可欠になると考えられる。

[Daisuke Okanohara / 岡野原 大輔 @hillbig]

世界最高水準の翻訳性能を実現するPLaMo翻訳モデルを、オープンモデルとして公開しました！

0.8Bから30Bまでのモデルを公開しており、特に、スマートフォンなどでも動作する0.8Bという小規模なモデルでありながら、世界最高水準の翻訳性能を達成しています。

本モデルは、フルスクラッチで開発した国産LLM PLaMoをベースに、翻訳能力の強化と蒸留技術を組み合わせることで実現しました。技術的な詳細に���いては、同時に公開したブログをご参照ください。

PLaMoコミュニティライセンスのもとで利用可能です。ぜひ実際に試していただき、さまざまな用途に活用していただければと思います。

[PFN Tech @preferred_jp]

【ブログ��翻訳特化LLM PLaMo 3 Translateのモデル重みをリリースしました。0.8B / 2B / 8B / 31Bの4パターンで、いずれも世界最高レベルの翻訳能力です。ダウンロードして、ローカルで試せます。開発秘話を描いたTech Blog:
https://t.co/qoumKi5LNx
Hugging Face:
https://t.co/AxzZYYbc9f

[Preferred Networks @PreferredNet]

PFN's translation LLM PLaMo Translate is now available for download as a suite of open-weight models in 4 sizes. The models outperform major translation LLMs and run on smartphones and PCs, bypassing the cloud. https://t.co/dPzY20kQLN

[kaitos @63556poiuytrewq]

最近は翻訳特化LLMの開発リードをやっていました。

翻訳特化LLMとしてはぶっちぎりで世界最高クラスで、特にSLM領域のフロンティアを開拓できたと思います

開発秘話とモデル重みを公開したので見てね！4サイズで量子化とかGGUF全部出したので28リポジトリも準備しました

[kaitos @63556poiuytrewq]

*オンデバイスで* ネットワーク環境なしにスマホでこれできるんだから、まあ新時代と言って良かろうと思います（※これは私がデモ用に作ったKotlin製アプリで、リリースはされてません）

[いもす @imos]

新しいPLaMo翻訳モデル公開しました🎉今回は小さいモデルで革命が起きて、同サイズ比較ならまず数年間は記録更新されないのではと思える（依然、翻訳の評価は難しいので我々の軸ではありますが）世界最強な翻訳モデルができました💪（スマホで爆速で動くデモもあるので是非見てください）

[Preferred Networks @PreferredNetJP]

【発表】PFN開発の高品質な翻訳特��型LLM PLaMo 3 Translateをダウンロード可能な4つのサイズのオープンウェイトモデルで公開しました。海外の主要モデルを上回る翻訳品質で、一定条件のもとスマホ、ノートPC、社内サーバー等で機密情報もクラウドを介さずにAI翻訳可能です。 https://t.co/55D3qM5647