aken12

[aken12 @_aken12]

DEIMのチュートリアルで紹介した検索モデルの資料です！ (Evolutional Tree of LLM-based IR Models)
#deim2024

[Takayanagi @TTsamurai2]

東京大学工学研究科を修了し、博士(工学)・専攻長賞をいただきました！お世話になった皆様に感謝申し上げます。4月からは東大に籍を置きつつ、AIによる「人と社会のデジタルツイン」を目指すスタートアップ"Simulacra"をさらに加速させます。CEOと研究員の二足の草鞋で頑張ります！

[pon / Hiromu Nakamura @po3rin]

昨日「LLMを用いたQuery Expansionむずくね？」って話で盛り上がって、ちょうど良さそうなやつがあったので読んだ。LLMの知識とクエリの曖昧性により最適なQE手法は変わるよねーという調査。

https://t.co/j7LWf3ylSj

[aken12 @_aken12]

初海外学会！
イタリア行きます🇮🇹

[Kuni @_kuni88]

🚀 Thrilled to announce that our short paper “LLM-based Query Expansion Fails for Unfamiliar and Ambiguous Queries” has been accepted to appear at @sigirconf #SIGIR2025! 🎉

📄 Pre-print: https://t.co/sSpxi8cMLE

Huge shout-out to 1st author @_aken12 for the stellar work! 🙌

[hpp @hpp_ricecake]

日本語テキスト埋め込みモデル 𝗥𝘂𝗿𝗶 のv3を公開しました！
・ベースを日本語ModernBERTに
・系列長が8192へ
・分かち書き器不要
あたりが注目ポイント

JMTEBによる評価では非常に高い性能を達成し、特に310mモデルは平均𝟕𝟕.𝟐と既存SOTAの75.5を大きく上回りました！
https://t.co/bNwLJI4llb

[aken12 @_aken12]

@usulity arguanaって評価の時にクエリ自身を除かないといけないんですけどそれだったりしますかね

[うしゅ @usulity]

書きました
https://t.co/JDo3g4KMCV

[aken12 @_aken12]

@usulity 頑張ってください🖐️

[aken12 @_aken12]

すごいし、mmarcoのみはやっぱり難しそう

[セコン @hotchpotch]

最近ちまちま作っていた、日本語SPLADE(スパース検索)モデルを公開しました🚀🚀🚀。検索性能は得手不得手があるとはいえ、JMTEBやJQaRA,JaCWIRでなかなかの性能かなと思ってます。また密ベクトルとは方向性が異なる検索順位になるのも単語特徴量ならではで、面白いですね〜
https://t.co/YhrSH7tS0c

[aken12 @_aken12]

使ってみたい

[hpp @hpp_ricecake]

日本語に特化した汎用埋め込みモデル 𝗥𝘂𝗿𝗶 を公開しました！
Ruriは
1. LLMを用いた合成データセット作成
2. 大規模な対照事前学習
3. 高品質なラベル付きデータによる学習
の3 stepにより、JMTEBベンチマークにおいて同等規模のモデルを大きく上回る性能を達成しました

https://t.co/oF9HFRC9sr

[ブライトン & ホーヴ・アルビオン @OfficialBHAJPN]

🇯🇵 ブライトン&ホーヴ・アルビオン・ジャパンツアー2024開催決定 ✈️

この夏にアルビオンが日本にやってきます！皆さん、東京で会いましょう 👋

[aken12 @_aken12]

この調子だと今年使った言葉ランキング1位は日本語に翻訳してくださいになりそう

[Ben Clavié @bclavie]

Just spotted this, really cool to see SPLADE for Japanese retrieval! Nice work @_aken12 https://t.co/6cVOOa5hZR

[aken12 @_aken12]

@bclavie Thank you for tweeting about this model!! Also, thanks to the hard negatives you've made available, I was able to conduct my experiments smoothly.

[aken12 @_aken12]

MIRACL以外でSPLADE評価してみたけど、もう少し頑張れそう(すでに結構頑張ってはいる

[aken12 @_aken12]

クエリの入力長は64とかにするべきなんだろうか

[aken12 @_aken12]

やりたいことが増えすぎる(abci待ち)

[セコン @hotchpotch]

技術的な、日本語 Reranker のテクニカルレポートはこちら。Rerankerで使うCrossEncoderの学習自体は簡単なんですが、主にデータセット作ったりデータセット作ったりデータセット作ったりに時間がかかった感じですね。データセット作り難しい。とりわけ多様性への対応。

https://t.co/ZKhdpArwzR