まさ (Masa) | フルスタックAI/MLエンジニア & コンサル (米国テック企業・リモート) @masato4 - Twitter Profile

Pinned Tweet

まさ (Masa) | フルスタックAI/MLエンジニア & コンサル (米国テック企業・リモート)

over 2 years ago

RAGを用いた大規模言語モデル（LLM）によるQ&Aチャットボットは、簡単な実装で驚くような成果が得られます。しかし、実用に向けて多くのデータや様々な質問を扱い始めると、困難な問題が生じて実用に至らないことも。最近取り組んだプロジェクトで、それをどのように解決したか、以下に書きます。このプロジェクトでは、28年間に渡る世界の時事に関する週刊ニュースレターから構成されるデータセットを扱いました。パラグラフや章といった明確な区切りがない形式で、1500以上のPDFファイル、約10.5Mトークンの日本語テキストで構成されています。特定の範囲に限定された質問に対しては、基本的なRAGの実装でもスムーズに回答できました。しかし、「2020年以降に起きた主要な出来事は何か？」といった広範な質問に対しては、非構造的で大量のデータから適切な情報を抽出することが難しく、的確な回答を提供できませんでした。解決策の概要： ✅クラスタリングと要約の階層化: データを文章が途切れないようにしつつ一定のトークンサイズに分け、年月とトピック別にクラスタリングし、各クラスタを要約。これを段階的に繰り返すことで、詳細なレベルから幅広いレベルまでの質問に対応できる情報を効率的に取得できるようになりました。この手法はParth Sarthi氏らのRAPTORアプローチからヒントを得ています。 ✅メタデータとベクトルデータの追加: 各チャンクにドキュメントから抽出した発行年月日や号数などのメタデータを付与し、さらに埋め込みベクトルを追加。これにより、メタデータフィルタリングやベクトル検索を活用して検索の精度と効率が向上しました。 ✅質問の拡張と分解: LLMを使ってユーザーの質問を拡張・分解し、必要に応じて複数の具体的かつ的確な検索条件を生成。メタデータフィルタリングの条件も含みます。これにより、複雑な質問にも対応可能となりました。 ✅ハイブリッド検索（Hybrid Search）の導入: BM25とベクトル検索を組み合わせたハイブリッド検索を導入。BM25はテキストの頻度に基づく検索を提供し、ベクトル検索は意味的な類似性を捉えるため、これらを組み合わせることで精度の高い検索結果を得ることができました。 ✅適切さの評価と選別: LLMによって検索結果の適切さを5段階評価し、評価が高いものだけを使用することで、高品質な回答を保証しました。 👉それぞれの詳細や、開発に用いたローカルLLM、LLMによる構造化出力のためのInstructorライブラリ、オープンソースのLLMエンジニアリング・ツールLangfuseなどの関連情報について、今後も定期的にポストしていきます。興味のある方は、ぜひフォローしてください。また、特定の部分についてさらに知りたい場合や質問がある場合は、コメントで教えてください。皆さんのアドバイスやフィードバックも大歓迎です！リポストもよろしくお願いします。

masato4's tweet photo. RAGを用いた大規模言語モデル（LLM）によるQ&Aチャットボットは、簡単な実装で驚くような成果が得られます。しかし、実用に向けて多くのデータや様々な質問を扱い始めると、困難な問題が生じて実用に至らないことも。最近取り組んだプロジェクトで、それをどのように解決したか、以下に書きます。

このプロジェクトでは、28年間に渡る世界の時事に関する週刊ニュースレターから構成されるデータセットを扱いました。パラグラフや章といった明確な区切りがない形式で、1500以上のPDFファイル、約10.5Mトークンの日本語テキストで構成されています。特定の範囲に限定された質問に対しては、基本的なRAGの実装でもスムーズに回答できました。しかし、「2020年以降に起きた主要な出来事は何か？」といった広範な質問に対しては、非構造的で大量のデータから適切な情報を抽出することが難しく、的確な回答を提供できませんでした。

解決策の概要：

✅クラスタリングと要約の階層化: データを文章が途切れないようにしつつ一定のトークンサイズに分け、年月とトピック別にクラスタリングし、各クラスタを要約。これを段階的に繰り返すことで、詳細なレベルから幅広いレベルまでの質問に対応できる情報を効率的に取得できるようになりました。この手法はParth Sarthi氏らのRAPTORアプローチからヒントを得ています。

✅メタデータとベクトルデータの追加: 各チャンクにドキュメントから抽出した発行年月日や号数などのメタデータを付与し、さらに埋め込みベクトルを追加。これにより、メタデータフィルタリングやベクトル検索を活用して検索の精度と効率が向上しました。

✅質問の拡張と分解: LLMを使ってユーザーの質問を拡張・分解し、必要に応じて複数の具体的かつ的確な検索条件を生成。メタデータフィルタリングの条件も含みます。これにより、複雑な質問にも対応可能となりました。

✅ハイブリッド検索（Hybrid Search）の導入: BM25とベクトル検索を組み合わせたハイブリッド検索を導入。BM25はテキストの頻度に基づく検索を提供し、ベクトル検索は意味的な類似性を捉えるため、これらを組み合わせることで精度の高い検索結果を得ることができました。

✅適切さの評価と選別: LLMによって検索結果の適切さを5段階評価し、評価が高いものだけを使用することで、高品質な回答を保証しました。

👉それぞれの詳細や、開発に用いたローカルLLM、LLMによる構造化出力のためのInstructorライブラリ、オープンソースのLLMエンジニアリング・ツールLangfuseなどの関連情報について、今後も定期的にポストしていきます。興味のある方は、ぜひフォローしてください。また、特定の部分についてさらに知りたい場合や質問がある場合は、コメントで教えてください。皆さんのアドバイスやフィードバックも大歓迎です！リポストもよろしくお願いします。

0

6

0

983

まさ (Masa) | フルスタックAI/MLエンジニア & コンサル (米国テック企業・リモート)

まさ (Masa) | フルスタックAI/MLエンジニア & コンサル (米国テック企業・リモート)

@masato4

Who to follow

Last Seen Users on Sotwe

Trends for you

Most Popular Users