LLM勉強会（LLM-jp）

LLM勉強会（LLM-jp）の公式アカウントです。
LLM勉強会では、自然言語処理および計算機システムの研究者が集まり大規模言語モデルの研究開発について定期的に情報共有を行っています。お問い合わせはウェブサイトの連絡先よりお願いします。

[LLM勉強会（LLM-jp） @llm_jp]

様々な日本語LLMと会話し評価できるプラットフォーム「LLM-jp Chatbot Arena」を公開しました。 https://t.co/jMm9Ur5Clf
現在、LLM-jp のフラグシップモデル「LLM-jp-3.1 8x13B」を含む、計7モデルが稼働中です。どうぞご利用ください。

[LLM勉強会（LLM-jp） @llm_jp]

国産LLM「LLM-jp-4 8B」をベースとした、画像対応のマルチモーダル基盤モデル「LLM-jp-4-VL 9B beta」を公開しました。日本語ベンチマークでQwen3-VL-8Bと同等の性能を達成しています。
モデル：https://t.co/hnSNzLxmnT

[LLM勉強会（LLM-jp） @llm_jp]

11月25・26日、国際シンポジウム「Japanese Symposium on Open Large Language Models」を開催します。 https://t.co/de4mEP4QMQ
LLMC/LLM-jpの最新研究や海外有識者の講演を通じ、LLMの未来を多角的に考える場となります。
現地・オンラインとも、ご参加をお待ちしています。

[LLM勉強会（LLM-jp） @llm_jp]

LLM-jp では様々な日本語LLMと会話し評価できるプラットフォーム「LLM-jp Chatbot Arena」を運用中です。
https://t.co/jMm9Ur5Clf
LLM-jp のフラグシップモデル「LLM-jp-3.1 8x13B」や OpenAI 製モデル「gpt-oss-120b」など、計9モデルが無料でお試しいただけます。どうぞご利用ください。

[LLM勉強会（LLM-jp） @llm_jp]

LLMのチューニング技術を競い合うチューニングコンペティションの情報を公開しました。
今回は数学タスクに加え、テーマ自由でアイディアの面白さ等を競う自由形タスクを実施します。今回も運営より計算資源を提供予定です。
参加登録は2025/10/1より受け付けます。
https://t.co/WYht7KdfNq

[LLM勉強会（LLM-jp） @llm_jp]

LLM-jpモデルをベースに、Ai2により報告されたOLMo2中間学習の再現実験を行いました。同様のデータを用いた中間学習によりgsm8kで大きな性能向上を確認しました。さらにモデルスープも検証し、特にgsm8kで性能改善が得られました。詳しくは以下記事をご覧ください。

https://t.co/WXoDgLBvSE

[LLM勉強会（LLM-jp） @llm_jp]

『LLMの安全性シンポジウム2025』プログラムを公開しました。大学や研究機関に加え、企業やAISIでのLLMの安全性に関する多様な取り組みと知見を共有する初めての場となります。 ※現地・オンライン参加のいずれでも参加登録が必要です。詳細は下記ページをご確認ください。
https://t.co/ICR9gidawJ

[LLM勉強会（LLM-jp） @llm_jp]

大規模言語モデルを構築するための事前学習コーパスとして、LLM-jp Corpus v4 を公開しました。本コーパスは日本語6,880億トークンを含む総量19.5兆トークンからなるLLM-jp Corpusシリーズの最新版です。LLM-jpにおいて今後開発するモデルはこのコーパスを用いる予定です。 https://t.co/bFWPN61EOG

[LLM勉強会（LLM-jp） @llm_jp]

LLM-jpモデルのラインナップに「LLM-jp-3.1」シリーズが追加されました。本シリーズでは、継続事前学習の追加およびinstruct4による事後学習の改善により、指示追従性が大幅に向上しています。詳細は以下サイトをご覧ください。
https://t.co/wKFZVv9jjk

[LLM勉強会（LLM-jp） @llm_jp]

LLM-jp では、2025年1月末から2月中旬にかけて、日本語 LLM を対象とした Chatbot Arena「LLM-jp Chatbot Arena」の試験運用を行い、そのログデータを HuggingFace にて公開しました。詳細は以下ブログを参照ください。
https://t.co/qDE51DYTPl

[LLM勉強会（LLM-jp） @llm_jp]

大規模日本語コーパスで学習された最大トークン長8192のBERTモデルであるllm-jp-modernbertを公開しました。トークナイザにはllm-jp-tokenizer v3、学習データはllm-jp-corpus-v4 の日本語サブセット (約0.69Tトークン)を使用しています。詳細は以下を参照ください。
https://t.co/v5ojcte0wm

[LLM勉強会（LLM-jp） @llm_jp]

LLM-jp では初の MoE (Mixture of Experts) モデルシリーズとなる 8×1.8B と 8x13B の2つのモデルを新たにリリースしました。ベースモデル、チューニング済みモデルともに Apache License 2.0  のもとで提供されています。詳細は以下をご参照ください。
https://t.co/cWc833PO23

[LLM勉強会（LLM-jp） @llm_jp]

LLM-jp は今後公開する���果物のライセンスに関して、原則として制限付きライセンスを採用しないことを新たに指針として策定しました。今後はこの指針に則ってライセンス等を定めることとします。詳細は以下の記事をご参照ください。
https://t.co/epgpKcebWM

[LLM勉強会（LLM-jp） @llm_jp]

LLM-jpでの研究成果が、言語処理学会第31回年次大会(NLP2025)にて、優秀賞1件、若手奨励賞1件、委員特別賞2件を受賞しま���た。

[LLM勉強会（LLM-jp） @llm_jp]

LLM-jpでの研究成果が、第263回 自然言語処理研究発表会にて、若手奨励賞1件を受賞しました。

[LLM勉強会（LLM-jp） @llm_jp]

https://t.co/XCGAdurIYB

[LLM勉強会（LLM-jp） @llm_jp]

「LLM-jp Toxicity Dataset v2」公開

3,847件の日本語文書に有害性ラベルを付与したデータセットを提供開始。
研究開発・商用利用可能 (CC-BY)。ぜひご活用ください。

https://t.co/oZOYcvkU5W

[LLM勉強会（LLM-jp） @llm_jp]

LLM-jp Chatbot Arena を公開しました。
https://t.co/jMm9Ur5Clf
LLM-jp-3 172Bを含む計10モデルと会話できます。収集したデータは LLM-jp から公開予定です。
2/11 (火) 9:00 までの稼働を予定しています。短い期間ですが、ぜひお試しください。

[LLM勉強会（LLM-jp） @llm_jp]

LLM-jp-3シリーズに150M、440M、980M、7.2Bのモデルが追加されました。また、LLM-jp-3 シリーズの全ベースモデルに対して、 Supervised Fine-Tuning を適用した「instruct2」モデルと、加えて Direct Preference Optimization を適用した「instruct3」モデルを公開しました。https://t.co/OO7s05qIo4

[LLM勉強会（LLM-jp） @llm_jp]

約1,720億パラメータ(GPT-3級)の大規模言語モデルを2.1兆トークンの学習データを用いてフルスクラッチで学習し、指示チューニングを施したモデルを「llm-jp-3-172b-instruct3」として公開しました。学習データまで含めすべてオープンなモデルとしては世界最大規模です。
https://t.co/ebFhmrA8yP