Kenta Oono

Preferred Networks (PFN, @PreferredNet) エンジニア，博士（情報理工学），数学カフェ（@mathcafe_japan）理事，興味分野は数学・機械学習/深層学習・バイオインフォなど。ISFJ-Aタイプ。

[Kenta Oono @delta2323_]

ヘルスケア・ウェルネス関連のプロジェクトのエンジニア・リサーチャーの募集を開始しました。ご興味がある方の応募をお待ちしています
https://t.co/8HfBi3p6Bh

[Kenta Oono @delta2323_]

6月4日に開催された、AIガバナンス協会主催の「AIGA Online Symposium」のケーススタディセッションに登壇し、PFNのAIガバナンスについてのインタビューにお答えしました

https://t.co/g02zz79fW1

[Kenta Oono @delta2323_]

弊社の新卒採用エントリー受付が開始されました

[Preferred Networks @PreferredNetJP]

2026年新卒採用のエントリー受付を開始しました。

ソフトウェア・プロダクト・サービス開発、機械学習・最適化・データサイエンス、計算機インフラ、MN-Coreソフトウェア、材料探索、創薬の領域で技術職・研究職を募集中です。

エントリーをお待ちしています！ https://t.co/YI7wI4SfI6

[Kenta Oono @delta2323_]

Our paper about RNA language models has been accepted at PLOS ONE. This work is done by Yichong Zhao as an intership work.

[Preferred Networks @PreferredNet]

Our paper on GenerRNA, a pre-trained language model capable of generating RNA with desired properties through fine-tuning, has been published in the academic journal PLOS ONE. This is a result of PFN's 2023 internship. https://t.co/s4XpO280IV

[Kenta Oono @delta2323_]

I am excited that I can collaborate with excellent members and contribute to the ML community via this wonderful venue.

[Kenta Oono @delta2323_]

I am honored to be appointed an Action Editor of Transactions on Machine Learning Research (TMLR), an emerging journal for ML communities. To my knowledge, this is the first case in which an employee in a Japanese private company serves as AE of TMLR
https://t.co/7UEXVYZqah

[Daisuke Okanohara / 岡野原 大輔 @hillbig]

今回のPLaMo リリース背景などを補足します。

今回開発を進めていたPLaMo 100Bは去年夏に開発したPLaMo-13Bの後継になるもので経産省/NEDOの生成AI開発支援プロジェクトGENIAC1.0に採択され開発を進めていたものです。

このプロジェクトで開発したモデルは1000億パラメータからなるモデルで、日本語と英語を中心とした2Tトークンで学習しました。既存のLLMを追加学習するのではなく、データ収集、事前学習から行って、事後学習まで全ておこなっています。最初の三ヶ月（2~5月）で事前学習を進め（その時のまとめ https://t.co/Oxp2jTaiXz）、残りの期間（6~8月）で事後学習やマルチモーダル対応を進めていました。

今回の開発でもともと目標としていた日本語ベンチマークでGPT-4と同等の性能を達成することを達成できましたので、少し大げさですが、競争力のある大規模言語モデルを一から構築できる開発ノウハウを日本も持てたということになると思います。データ設計、収集、大規模分散学習、指示学習、アライメント、評価、サービス開発などが一丸となって取り組みました。

ただ、フロンティアモデルのようなモデルと比べれば、かけられる社内リソースや投入計算量はかなり限られています。例えばLlama3の400Bの学習に投入した計算量と比べると今回のモデルの投入計算量は大きいとはいえ1/40になります。
この開発においては社内リソースや投入計算量の規模から目標を集中しようということで、日本語関連能力（Jasterなど）とそれについで対話能力（MT-bench）の能力を中心に改良を進めました。日本語能力ではJasterやRakudaでは最高性能、また対話能力についてもGPT3.5とGPT4の間ぐらいの性能を達成しています。

一方で、他の性能、特に数学やコーディング、また高度な専門知識（MMLU）については他LLMに比べ弱いことがわかってます（詳しくは https://t.co/RGz80DT0id）。また、ツールを使う能力やRAGなどの能力、根本的な問題とされるハルシネーションに対してもまだ多くの課題が残っています。これらについては、今後の開発でデータ収集、事前/事後学習の工夫、他ツールと組み合わせなどで改善していこうと考えています。より競争力を持つような次のモデル群の開発は並行で進めており、改善されたモデルをリリースしていけたらと考えています。

今回の開発を通じて感じたのは、データの品質改善による性能改善が大きいことです。データの品質の改善するために積極的にLLM自身を利用しています。事後学習の改良も大きく貢献しています。こうしたことで必ずしも学習規模を大きくしなくても高性能なモデルが作れていくと考えています。

例えば、今回モデルを作った際に利用したのと同じデータや学習の仕組みを使って1~3Bといった小さいモデルについても既に学習を完了し評価していますが、それらは去年作ったPLaMo 13Bを超える性能を達成しています。技術の進展によって1年で同じ性能を達成するモデルサイズが1/10になっているといえます。こうした技術改善による改良は続くと考えます。

こうした成果を元に、今回モデルのトライアル利用を開始しています。今回のトライアル提供の中ではユーザーが、実際どのような使い方をされるのか、安全面やリスクなどの検証を進めていきます。

一方、会社として今後のLLM提供においては企業、目的、組織にあわせた専用モデルの開発に興味を持って検証をすすめています。ローカルなデータを取り込み、目的に応じた、専用モデルの構築をサポートしていくことを想定しています。

是非いろいろ試して見てもらえたらと思います。

[Preferred Networks @PreferredNetJP]

【発表】PFNの子会社PFEがフルスクラッチで開発する純国産の大規模言語モデルPLaMo™（プラモ）、期間限定でβ版の無料トライアルを実施します。
本日受付開始しますので、チャットでの対話やアプリのバックエンド開発などにお試しいただき、フィードバックをお寄せください！ https://t.co/CFPtrioZ5s

[PFN Tech @preferred_jp]

【ブログ】継続事前学習による医療・ヘルスケア分野特化LLMの構築および検証について紹介します。今回開発した「Llama3-Preferred-MedSwallow-70B」は日本医師国家試験においてGPT-4を上回る成績を収めています。https://t.co/MTdyzH8FCc

[Kenta Oono @delta2323_]

JSBi Bioinformatics Reviewに総説「深層生成モデルによるテーブルデータ生成と仮想人体生成モデルへの応用」を寄稿しました．遺伝子発現のノイズ除去の動向のサーベイなど自分自身の勉強にもなりました．編集委員の @gggttaさん@yuifuさんありがとうございました．https://t.co/TbQhfLplBZ

[中外製薬 @chugai_cc]

中外製薬がPreferred Networks社と協働し開発した「マウス尾静脈投与ロボット」。デジタル×創薬、異なる分野の知識の融合により進むヘルスケアDXについて、ぜひご覧ください。
https://t.co/GEBNEhAi41
＃DX　＃画像解析　＃ロボティクス　＃PreferredNetworks

[Preferred Networks @PreferredNetJP]

PFN2024夏季国内 #インターン 募集要項を公開しました。機械学習のみならず、コンピュータサイエンスの幅広い分野から、新しい技術、プロダクト、サービスを創り上げてみたいという学生の皆様の応募を歓迎いたします。●応募締切：2024/4/21 (日) 23:59 (日本時間) https://t.co/t6tnjaX7bK

[Omega Crafter (オメガクラフター) @omegacrafter_jp]

【Steam 日本の売上トップ3にランクイン！！！】
#OmegaCrafter / オメガクラフター が、リリースから5時間で「売上3位」になりました 🎉

おもしろかったら、Steamレビューで応援をお願いします📝開発チームがすべて読み、今後の開発の参考にします🙏

[Omega Crafter (オメガクラフター) @omegacrafter_jp]

🎉早期アクセス版 発売開始🎉
『#OmegaCrafter/ オメガクラフター』
https://t.co/shJMkuzMfp

プログラミングによる自動化✖サバイバルクラフトの新しい組み合わせ🆕

🛠️自由度の高い建築
💙かわいい相棒グラミー
💥ソウルライクなバトル
🎮最大6人のマルチプレイも🙌Steamで配信中🔥

[数学カフェ＠NPO法人 @mathcafe_japan]

4年続いた数学カフェのもくもく会ですが、利用していたアプリのサービス終了に伴い、Xのコミュニティ機能を利用することになりました。開室のお知らせなどはコミュニティ内で共有されます。

参加をご希望される方はメンバー申請をお願いいたします😊

https://t.co/AyH4U1wkwg

[Preferred Networks @PreferredNetJP]

【学生向けイベント】大規模言語モデル（LLM）開発に興味のあるエンジニア・リサーチャー志望学生対象のオープンハウスを実施します。

📅2024年3月29日(金) 18:30 〜
🏢PFN大手町オフィス

皆さまの応募をお待ちしています！
イベント詳細：
https://t.co/74cygaJC2R

[Kenta Oono @delta2323_]

We published a paper proposing GenerRNA, a language model that learns RNA sequences and can be applied to the generation of protein-binding RNAs.

[bioRxiv Bioinfo @biorxiv_bioinfo]

GenerRNA: A generative pre-trained language model for de novo RNA design https://t.co/onjaiYAepF #biorxiv_bioinfo

[Preferred Networks @PreferredNetJP]

【新卒採用】PFN 2025年新卒採用第2期の募集締め切りはは1月31日（水）23:59です。みなさまのご応募をお待ちしております。 https://t.co/2iQNTZzrbi

[Preferred Networks @PreferredNetJP]

【採用イベント】＃九州大学 在校生の全学年を対象に、PFN Meetup＠知るカフェ九州大学前店を12/18(月)17:00~開催します。当日はVPの福田を含め、プロダクト・サービス開発/データサイエンス/計算機インフラ/材料探索エンジニアが参加します。 詳細・お申込みはこちら： https://t.co/Hhrh8vaRol

[Preferred Networks @PreferredNetJP]

【採用イベント】＃東北大学 在校生の全学年を対象に、Preferred Networks Meetup＠仙台国際センターを12/13(水）17:00~開催します。 懇親会で東北大卒業生含むPFNメンバーとお話ししませんか？詳細・お申込みはこちら： https://t.co/f5TVe71HvU