Hwichan Kim

Komachi Lab → SB Intuitions 自然言語処理と筋トレをしています。

[Mamoru B Komachi @mamoruk]

本日は学位記授与式からの追いコンでした〜。一橋来て初の卒業で、全員にメッセージを言いつつ、みんな色々なことにチャレンジしてくれたなぁ、と感謝です。新しいことをやるのはいつも勉強になって楽しいです。皆さん、Bon voyage! 写真は修了生がくれたグラスで、一橋小町研1エポック目だそうです😆

[Mamoru B Komachi @mamoruk]

M2 坂部さんが LLM の大喜利評価の研究で優秀研究賞、M2 大平さんが動画 LLM におけるテロップの影響の分析、B3 島田さん (@uncitron17) が KWIC からの動的単語埋め込み獲得の研究でそれぞれ若手奨励賞を受賞しました（選考いただいた方々、ありがとうございます）。みなさんおめでとうございます🎉

[Hwichan Kim @HwichanKim]

得票→投票

[Hwichan Kim @HwichanKim]

https://t.co/hte26xyIL8

めちゃ面白い。笑いの「ツボ」は人間間で異なるし、LLM の「ツボ」は特定のグループとは一致するという話。そうなんだろうなと思ってたことをちゃんと分析して示してるの素晴らしい。

[Hwichan Kim @HwichanKim]

ユーザーの得票履歴をもとにクラスタリング→BTLモデルで言語的特徴やボケの性質といった素性の寄与度を推定して、各クラスターの「ツボ」を分析してるの痺れる

[AIDB @ai_database]

サイバーエージェントとNAIST、東京科学大学のチームが、「大喜利」を科学的に分析し、得られた知見をプロンプトに組み込むことでGPT-5が人間を超える成績を出したそうです。

その知見とは、例えば、面白い回答は長々と説明するのではなく短いこと。そしてお題から離れた斬新な語彙を使うのではなく、お題の世界観にとどまりながら「視点を変える」ことが最も効果的などでした。

ただしClaude-Opus-4は同じ手法で逆に成績が下がりました。「短い方が面白い」といったヒントを文字通りに受け取りすぎて、極端に短い回答ばかり選んでしまったのです。
しかし、「迷ったときだけヒントを参照しろ」と指示すると、この問題が緩和されたとのこと。

昔からユーモア理論で重視されてきた「意外性」や「予測のしにくさ」といった要素は、実際はあまり効いていないことも示唆されました。

[Yuu Jinnai @DINDIN92]

大規模言語モデルのための強化学習の講演動画③が公開されました！

実際にLLMをファインチューニングをするための具体的な手続きをお話しました。
Colab notebookで実験できるものを例に挙げていますので、GPUにアクセスがない方でも試してみることが出来ます。

[Yuyang DONG (David Dong) @touuyou001]

I will give a talk at ACM MM Asia@kuala lumpur about our Sarashina model, next week.
https://t.co/XGR0HOZWNB
See you.

[リュウジ@料理のおじさんバズレシピ @ore825]

お前はなにを信じたんだよ

[AIDB @ai_database]

一橋大学と東京都立大学の研究者らが、今のLLMは「日本の大喜利でどれくらい面白いか」「大喜利を評価できるか」を徹底検証しています。
結論、LLMは人間のあまり上手くない人と、まあまあ上手な人の中間くらいの実力とのことです。

ただ面白いことに「何が面白くないか」は、
人間とLLMの判断が比較的一致するそうです。

まず、大喜利の回答を作る能力について。
LLMは意外性のある回答や、お題に関連した回答を作ることはできます。でも、その回答が共感を呼ぶものにはなっていません（「わかるわかる」「そういう状況ってあるよね」とはならない）。

次に、「何が面白いか」を判断する能力について。
ここでもLLMは共感性について気にしていません。
他人の大喜利回答を評価するとき、LLMは目新しさや意外性を最も重視する傾向にあるようです。

しかし上述の通り、「面白くない」を判断する力は優れているようです。

この研究結果から、今のLLMが（日本における）人間レベルで面白いことが言えるようになるためには、総じて共感を重視するようになるべきであることが示唆されています。

[Ayako @negi3soaya]

ワークショップに主著採択されたのでAAAI🇸🇬いく！
https://t.co/wCe9Ga9Klj

[Mamoru B Komachi @mamoruk]

M2 の坂部さんの大喜利の研究が AI のトップ国際会議、AAAI 2026（口頭）に採択されました〜🎉 SDS の学生初のメジャー国際会議採択なので嬉しいです。AAAI ワークショップの AIBSD 2026 にも、都立大卒業生の佐藤さんの LLM の数値バイアスの研究が採択されました㊗️ シンガポールでお会いしましょう！

[Hwichan Kim @HwichanKim]

@CsWeddy 合トレしましょう💪

[Taisei Enomoto @enomoto106]

I’m in Albuquerque for NAACL🌵
I’ll be presenting our paper at Poster Session 7 - MTM: Machine Translation, Multilinguality and Language Diversity, May 2nd at Hall 3!
📄https://t.co/c7dipOVE1O
#NAACL2025

[Hwichan Kim @HwichanKim]

@negi3soaya その研究ネタ俺も考えてたわ〜

[まっすー @ymas0315]

https://t.co/A5DaLO0Upa

[Taisei Enomoto @enomoto106]

Our paper “A Fair Comparison without Translationese: English vs. Target-language Instructions for Multilingual LLMs” got accepted at #NAACL2025!🇺🇸 Big thanks to my amazing collaborators.
See you in Albuquerque!

[Mamoru B Komachi @mamoruk]

お、NAACL 2025 main に論文採録されました〜。多言語大規模言語モデルの評価データセットに関する研究で、筆頭著者の @enomoto106 さんが YANS 2024 で奨励賞いただいた研究です。言語処理学会年次大会ではさらにその後に追加した内容も発表予定なので、よろしくお願いします〜。

[Kosuke @kosyamada]

サイバーエージェントAI Labでリサーチインターンシップ募集中です！
NLPチームも大歓迎です！
質問等も受け付けるので、気軽にご連絡下さい！

[Hwichan Kim @HwichanKim]

Our paper accepted to EMNLP 2024 Findings is now available on arXiv🎉 The key finding is that pruning using few-shot translation demonstrations as calibration data enhances non-English performance in multilingual large language models like XGLM. Thank you to our collaborators. Please check it out👀
https://t.co/f5vXGfgdcC

[Mamoru B Komachi @mamoruk]

EMNLP 2024 に @HwichanKim さんと @drJunSuzuki さんとの共同研究、Pruning Multilingual Large Language Models for Multilingual Inference が Findings で採択されました〜。よくよく調べると国内では発表してなかった（YANS 2022 は違う）ですが、多言語 LLM の転移能力の分析と改善のお話です。