カズキ

都立大（旧 首都大学東京大学院) で対話システムの研究をしてました。 自動車メーカ ＝＞ SES ＝＞ 通信会社勤務中。
自然言語処理はタノシイトオモッテル。生成AIに取り残されないように頑張る所存。

[Rohan Paul @rohanpaul_ai]

LLMs finetuned on specific data often fail to generalize to related unseen information, like logical reversals.

This @GoogleDeepMind paper shows In-Context Learning's superior generalization can improve finetuning.

It proposes enriching the training dataset to achieve this.

Methods Explored in this Paper 🔧:

→ The core method uses a LLM's In-Context Learning capability to generate diverse new examples from existing training data.

→ These include rephrasings, logical reversals, and syllogistic inferences, making implicit knowledge explicit.

→ Adding these to finetuning data significantly boosts generalization, e.g., near-ceiling accuracy on reversal tasks versus ~0 percent from standard finetuning.

→ Splitting multi-sentence documents into individual items can further improve augmentation benefits.

📌 In-context learning bootstraps finetuning, transferring flexible reasoning to model weights.

📌 Augmentation turns strong in-context learners into powerful, efficient data synthesizers for finetuning.

📌 This bridges systematic generalization gaps between prompting and finetuning methods effectively.

----------------------------

Paper - arxiv. org/abs/2505.00661v1

Paper Title: "On the generalization of language models from in-context learning and finetuning: a controlled study"

[カズキ @Kzk72]

バス酔いがきつい…
なぜあんな離れた宿に…

[カズキ @Kzk72]

せっかく学会来たのにフリースペースで仕事してたら意味なくね？
(悲哀)

[カズキ @Kzk72]

とりあえず長崎着。
バス酔いしたのでちょっと休憩…

[Daisuke Okanohara / 岡野原 大輔 @hillbig]

LLM学習用のFineWebデータセット構築に関わる詳細な記事。クロールデータからどのような前処理を施してデータを作成するとよいかの考え方や実験結果が詳細に載っている。また、LLMを使って高品質なデータFineWeb-Eduを作成。https://t.co/Le7nfnlleH

クロールしたデータには多くの低品質なデータや重複が含まれており、前処理で除去するのが重要だが、除去方法によっては性能が落ちる場合も多い。
彼らは1.8Bのモデルを28Bトークンで学習したモデルを選抜ベンチマーク（CommonSense QA, HellaSwag, OpenBook QA, PIQA, SIQA, WinoGrande, ARC, MMLU）で評価し、前処理の良し悪しを評価。

例えば、C4が優れているがそれをさらに分析した結果以下のような文書は除去すると良いと同定
- 文末が句読点で終わってる文の割合が12%以下
- 重複文の割合が10%を超えている
- 30文字以下の文が67%を超えている

こうした考察を元に作られたFineWebデータセットは15Tトークンからなる。データセット間で比較した場合、FineWebデータセットを使って学習したモデルが最も高い性能を達成できる。

また、教育用高品質データを作るとして、最初にLlama3を使って以下のプロンプトを使って各文書を5点満点で評価する。
- 教育関連に関わる基本的情報が含まれているなら1点
- 非教育内容が混在していても教育内容が含まれているなら追加で１点
- 教育用途に適し、学校カリキュラムに関連する重要な概念を導入している場合追加で１点
- 小学校から中学校レベルで非常に有用で、明確で一貫した文章スタイルを示している場合追加で１点
- 教育価値が非常に高く、小学校や中学校の教育に最適な場合５ポイント目を付与

この評価で学習用データを45万件作り、比較的小さいモデル（100Mパラメータ相当）で回帰モデルを学習し、FineWebコーパス全体に適用。このモデルで3点以上がつけられたデータを選択し、1.3TトークンからなるFineWeb-Eduを構築。
このデータで学習したモデルと、10倍のデータで学習したモデルはMMLUで匹敵し、10倍のデータ効率を達成する。

また、CommonCrawlデータの年月ごとのダンプごとにモデルを学習した場合の性能の推移をみると、最近のダンプほど性能が高い。ベンチマークデータやLLM生成データが徐々にコンタミしている可能性（生成データの割合は全体の0.0016%程度と推定）もあるがよくわかっていない

[AIDB @ai_database]

LLMでプラグラム言語間の翻訳を行う際に使用するプロンプト手法が提案されています。
AWSなどの研究者らによる報告。
実験では、CやGoからRustへの自動コード変換が行われています。
https://t.co/bE43kREHos
なお変換が失敗する時の原因や、精度改善方法についても示されています。

[LlamaIndex 🦙 @llama_index]

Here’s a great guide teaching you how to construct knowledge graphs using LLMs that adhere to a pre-defined schema - using purely local models (@ollama, @huggingface), and @neo4j as the graph store.

Possible with @llama_index! 🦙🕸️

1. Define the set of possible entities and relations (e.g. person/place/organization, has/part of/worked on). Define a validation schema to enforce that certain entities have relations.
2. Enter this schema in our `SchemaLLMPathExtractor` to extract out a graph from each unstructured chunk (using Llama3 on @ollama). Since the set of entities is already pre-constrained, you worry less about entity disambiguation across chunks.
3. Query the constructed KG and view the extracted relationships!

Big shoutout to @LoganMarkewich and @neo4j folks for the help.

Notebook: https://t.co/scPHYBGNPU

[AIDB @ai_database]

LLMに"できるだけ正確に長文を読解させる"プロンプト手法が考案されています。
基本形は「ページを区切る→短い要約を繰り返す→必要に応じてメモリを参照する」。
https://t.co/24Oe5mjDUI
読書が得意な人間が行っているプロセスを分析して模倣しています。
Googleによる研究。

[有馬幸介/Stockmark @kosukearima]

ストックマークは、1000億パラメータの日本語LLMモデル「Stockmark-100b」を公開しました。
既存のモデルにデータ追加を行いチューニングしたものではなく、ゼロからフルスクラッチで開発したモデルであり、国内では(現状はダントツで)最大、グローバルでも最大級サイズのOSSモデルとなります。

企業利用を想定して開発したため、ビジネス系の話題に特に強く、ビジネス話題を問うベンチマークテストではGPT-4の1.5倍程度の正答率、回答速度は3倍近く高速となっております。
また、一般話題についてもGPT-3.5系やLlama2と遜色ない回答性能となったため、モデルを公開する形とさせていただきました！

https://t.co/l5OMoskVEh

[門脇 敦司/ Atsushi @at_sushi_]

RAGの精度評価ツール「RAGAS」について書きました。

ツールは有名ですが、論文があるのは意外と知られていなさそうです。
https://t.co/OwOBXN6nbO

[中室牧子 @makiko_nakamuro]

研究者に愛用者が多いと聞いてReadable（https://t.co/RTJ9vObIaA）を使い始めたのですが、すごいいいです。日英交互にレイアウトがそのまま表示される。日本語で斜め読みして、「ん？これどういうこと？」と思って、元の英語に戻るとき、どこの訳なのかわからず探すということがなくなりました。

[Jerry Liu @jerryjliu0]

Before you build complex agent systems, I’d recommend building with the individual “agent ingredients” first to gain a better first principles understanding of how they work.

Here are the main ingredients for building an agent (mini 🧵)

Query Planning: Given the task + surrounding context, decompose it into a series of steps (chain-of-thought, DAG, tree). Can be represented as a simple prompt call with structured outputs.

Memory: Store state across user tasks, to better inform the next task. Important for any chatbot!

Tool Use: Use the LLM to make API calls to any external system. This could be a vector db (through auto-retrieval). This could also be calling an external API (Slack, Gmail, Calendar)

Using each ingredient on its own gives you more limited capability but is much more efficient in terms of cost and latency. It also gives you the ability to compose your own complex pipelines without the need to use out of the box agents.

Others include reflection, async task execution, debuggability, etc.

You can build this with @llama_index. Linking resources below:
Slides on agents: https://t.co/gkRaqTkU6P
Routing: https://t.co/ZiY4JWTFcM
Query Planning: https://t.co/ivBmjPkTMd
Conversation Memory: https://t.co/qhYY5tMxut
Tool Use example (function calling with @MistralAI): https://t.co/A8uH0feEGJ
Tool Use example (auto-retrieval): https://t.co/ipHlFBZbL5
Building custom agent: https://t.co/vyGtpplbSl

[Ryousuke_Wayama @wayama_ryousuke]

Mixture of LoRA Experts
https://t.co/DWfjy1MGwc
LoRAは様々なタスクで効果を発揮しているが、元の能力が失われる等の課題がある
本論文ではMoLEアプローチを提案し、柔軟かつ高性能なLoRA融合を実現した
モデルマージ大本命のような気がする
https://t.co/XE5dx63ZJU

[トミー @tommy19970714]

pytorchが公式でLLMのfinetuning用のライブラリを出してた。
しかもすでにLlama3のfinetuningも対応しているぽい。
Llama3のfinetuningするなら、torchtuneが一番いいかも
https://t.co/PNXN0k60eU

[Shinichi Takaŷanagi @_stakaya]

RAGのサーベイ論文。「pre-検索、検索、post-検索、生成」の4つの切り口で手法を分類（図引用）。RAGアプリケーショの改善手法やアイデアを探している場合はチェックしてみると良さそう。

A Survey on Retrieval-Augmented Text Generation for Large Language Models
https://t.co/DqZy2Qwvts

[AIDB @ai_database]

LLMに外部知識を取り入れる2つの手法としてのファインチューニングとRAGを比較実験した結果
https://t.co/Umiot5lLsF
Microsoftによる報告では、知識を参照する目的ではRAGが一貫して優れるとのこと。
記事では、ファインチューニング+RAGとRAG単体の比較など、詳細な実験結果などにも触れています。

[畠山 歓 Kan Hatakeyama @kanhatakeyama]

大規模言語モデルの構築の事前学習に使うデータセット(主に日本語系)の整理メモ｜Kan Hatakeyama @kanhatakeyama #note https://t.co/fTxR1nvGBW

[Maxwell! 🌃 🌻 🐇 ☃ @Maxwell_110]

🌐 https://t.co/ev7dRKiDch

某「ゼロから作るシリーズ」のように，PyTorch で LoRA をゼロから実装する方法を解説した記事

LoRA を使用する場合，🤗 の peft を使って楽をするのが一般的だが，本記事では敢えて LoRA layer class の実装から，それを学習済みのモデルに適用するまでを丁寧に解説

[カズキ @Kzk72]

あんまり上手く言語化できていなかった部分がスライドに落とし込まれてて、読みやすかった
https://t.co/VVgE6yHM1w

[Shinichi Takaŷanagi @_stakaya]

#DevelopersIO RAGの実案件に取り組んできた今までの知見をまとめてみた https://t.co/gdH5E5M3Kf