Yoichi Aoki

#NLProc D3 at TohokuNLP (Tohoku NLP Lab. @NLPTohoku)

[Keito Kudo @k8kudo]

数学を解くLLM構築コンペ FT-LLM2026で，オープン部門1位，総合部門でも2位となりました!
Tohoku NLP＋αで実現しうる最強メンバー(@mhida90, @onely7_deep @go2oo2 @muyo8692 @r_takahashi_h12 @y_aoneko @kyano__nlp @ma38taniguchi @t_ito0516 @KeisukeS_ @drJunSuzuki)による賜物です!
@tohoku_nlp

[Yoichi Aoki @y_aoneko]

言語処理学会 #NLP2026 では共著論文が1本優秀賞、1本委員特別賞を受賞しました！

また、FT-LLM 2026 ワークショップでは、チームdentakuとしてオープン部門1位、総合部門2位を取ることができ、大変嬉しく思います。改めて、共著者の皆様ありがとうございました！

[Keito Kudo @k8kudo]

数学を解くLLM構築コンペ FT-LLM2026で，オープン部門1位，総合部門でも2位となりました!
Tohoku NLP＋αで実現しうる最強メンバー(@mhida90, @onely7_deep @go2oo2 @muyo8692 @r_takahashi_h12 @y_aoneko @kyano__nlp @ma38taniguchi @t_ito0516 @KeisukeS_ @drJunSuzuki)による賜物です!
@tohoku_nlp

[Keito Kudo @k8kudo]

#NLP2026 にて，主著論文「多段算術推論タスクにおける思考の連鎖の忠実性」が委員特別賞を受賞しました!
共著者は@y_aoneko , @ttk_kuribayashi , shusaku sone, @ma38taniguchi , @ana_brrr, @KeisukeS_, @inuikentaro さんです．
共著者の皆様の多くのサポートに感謝申し上げます!
@tohoku_nlp

[Kyosuke Nishida @kyoun]

#NLP2026 にて、NTT tsuzumiチームが優秀賞5件、若手奨励賞1件を受賞しました！
これを励みに、今後も大規模言語モデル「tsuzumi」の開発と、革新的な研究の両面で、より一層挑戦を続けて参ります。採用も積極的に行っていますので、tsuzumi のR&Dに興味をお持ちいただけた方は、ぜひご連絡ください！ https://t.co/s7J7HlGpjW

■ 優秀賞（718件中16件）
位置符号化の基底拡大戦略は外挿性能を制限する
岡 佑依 (NTT/東北大), 斉藤 いつみ (東北大), 西田 京介 (NTT)

周波数エントロピーによる位置埋込みの解明
岡 佑依 (NTT), 花房 健太郎 (愛媛大), 長谷川 拓, 西田 京介 (NTT)

CMDR: 文脈を考慮したマルチモーダル文書検索
田中 涼太, 長谷川 拓, 西田 京介 (NTT)

Let's Put Ourselves in Sally's Shoes: 他人の靴プレフィリングは大規模言語モデルの心の理論を改善する
篠田 一聡, 北条 伸克, 西田 京介, 山﨑 善啓, 鈴木 啓太, 杉山 弘晃, 齋藤 邦子 (NTT)

大規模視覚言語モデル内部におけるダイアグラムの表現形成過程
吉田 遥音, 工藤 慧音, 青木 洋一 (東北大), 田中 涼太 (NTT), 斉藤 いつみ, 坂口 慶祐, 乾 健太郎 (東北大)

■ 若手奨励賞（517件中21件）
ハルシネーションから学ぶ：内部表現への介入によるハルシネーション抑制
門谷 宙, 西田 光甫, 西田 京介 (NTT)

[Haruto Yoshida @yoshida_NLP]

光栄なことに #NLP2026 で発表した「大規模視覚言語モデル内部におけるダイアグラムの表現形成過程」が優秀賞を受賞しました🎉
発表を聞きに来てくださった皆様，サポートしていただいた共著の皆様，@tohoku_nlp の皆様，ありがとうございました！
今後もバリバリ研究します💪

[Ryo Fujii @fjry0_]

自分も所属するTohoku NLP Group、言語処理学会での発表数が多すぎるのか一般化されてて笑った
おそらく65件？の発表があるみたいです (8%に絡んでるのすごい)

[sho_yokoi @sho_yokoi]

1月1日付けで、東京は立川にある国立国語研究所 @kokugoken の准教授に着任しました。引き続き面白い研究ができるよう気合いを入れて頑張ります。
自然言語の数理を掴まえるためのラボも立ち上げます。ご興味のあるかたはぜひご連絡ください。
🧵[1/]

[sho_yokoi @sho_yokoi]

東北NLPグループ @tohoku_nlp での最後の出勤でした。修士でここに来てから9年半、人生でもっとも長い時間を過ごした場所となりました。関係各位に心から感謝します。
これ以上ない環境で、得難い友人を得、そして考えるための良い筋肉を付けることができました。引き続き気合いを入れて頑張ります。

[NLP2026 UTSUNOMIYA @anlpmeeting]

#NLP2025 では、3/10（月）午後 に、4件のチュートリアルを行います！
言語モデルの内部機序：解析と解釈（仮）
Benjamin Heinzerling  先生（理化学研究所／東北大学）
横井 祥 先生（東北大学／理化学研究所）
小林 悟郎 先生（東北大学／理化学研究所）
https://t.co/1rZMwe6bJM

[K.Ishi@生成AIの産業応用 @K_Ishi_AI]

LLMは、
- 考えてから話す(think-to-talk)
- 話しながら考える(talk-to-think)
のどちらなのか。

この論文では、LLMがその両方を問題の複雑さに応じて使い分けており、単純なサブ問題では推論を事前実行し、複雑な部分はCoT中に実行することを示した。

LLMの高度で柔軟な推論能力を裏付ける発見だ。

[Rohan Paul @rohanpaul_ai]

This study reveals when LLMs actually figure out their answers - before or during explanations.

This research investigates how LLMs internally determine their answers during Chain-of-Thought reasoning, revealing whether they follow a "think-to-talk" (predetermined conclusion) or "talk-to-think" (step-by-step reasoning) approach.

-----

Original Problem 🤔:

→ We don't know if Chain-of-Thought explanations from LLMs are genuine step-by-step reasoning or post-hoc justifications of predetermined answers.

-----

Solution in this Paper 🔬:

→ The researchers used causal probing to analyze model internals at each layer during each timestep, tracking when answers emerge during reasoning.

→ They created controlled arithmetic tasks with varying complexity levels to test how models handle simple vs complex calculations.

→ Linear probes were trained to predict variable values from hidden states, revealing when computations actually occur.

→ They validated findings through activation patching experiments to confirm causal relationships between intermediate calculations and final answers.

-----

Key Insights 💡:

→ Simple single-step calculations are solved before Chain-of-Thought begins

→ Complex multi-hop problems are computed during the explanation process

→ Models show systematic patterns across different sizes and architectures

→ The relationship between predetermined sub-answers and final outputs is somewhat indirect

-----

Results 📊:

→ Achieved nearly 100% task accuracy across 10 different LLM architectures

→ Larger models computed intermediate answers slightly earlier than smaller ones

→ Models consistently solved single-step problems (steps ≤ 1) before starting explanations

[Daiki Shiono @onely7_deep]

大規模視覚言語モデル (LVLM) に関する最新の知見を包括的にまとめたスライド (Part 1) を公開しました！🚀
Part 1 では、「画像エンコーダ」と「大規模言語モデル (LLM)」の接続方法及び、画像のエンコード方法に焦点を当てて紹介しています。

https://t.co/xE6uHne9si

[Goro Kobayashi @goro_koba]

東京大学 松尾・岩澤研究室 (@Matsuo_Lab) が開講している「大規模言語モデル講座」で、『LLMの分析』について講師をさせていただきました。
発表に用いたスライド資料を公開したので、ぜひご覧ください！
https://t.co/j9du3T47Dz

[Masaki @MskSakata]

学振DC2「表象の幾何的分析による言語モデルの概念解析」というタイトルで採択されました！
これからもがんばります！

[Hiroto Kurita @hiroto_kurita]

近況です！
- @Apple での4ヶ月のインターンを終え帰国します。本当に楽しくて最高でした！広義同僚たちに感謝の気持ちでいっぱいです🧡
- DC1に採用内定しました！
- 共著論文が #NeurIPS2024 に採択されました！(詳細は後ほど) バンクーバー楽しみです！🇨🇦

[Yoichi Aoki @y_aoneko]

Our paper is accepted at #EMNLP2024!

"First Heuristic Then Rational: Dynamic Use of Heuristics in Language Model Reasoning"
We reveal that LMs dynamically combine heuristic strategies with logical ones in tasks involving multi-step reasoning.
https://t.co/sJGJOCFlgH
@tohoku_nlp

[Tohoku NLP Group @tohoku_nlp]

EMNLP 2024 に3本の論文が採択されました。また、Findings にも1本の論文が採択されました。#EMNLP2024 #NLProc
https://t.co/dgPSTOzZKF

[MBZUAI @mbzuai]

Proud moment: #MBZUAI has 41 papers accepted at ACL 2024! 📚🧠

Our cutting-edge #NLP and #LLM research covers:

- Diverse datasets
- Translation challenges
- Health and finance applications
- Emergent AI abilities
- Complex linguistic structures

Follow us for key insights from #ACL2024. Tell us in the comments which area of NLP research excites you most!

#MBZUAIResearch24
#NLPInnovation
#AIResearch

[Haruto Yoshida @yoshida_NLP]

主著論文 "How Well Do Vision Models Encode Diagram Attributes?" が ACL 2024 Student Research Workshop (SRW) に採択されました！
共著者の皆様のサポートがあっての結果です！
引き続き頑張ります！

@k8kudo @y_aoneko @rtanaka_lab @saito_itsumi @KeisukeS_ @inuikentaro
@tohoku_nlp

[Ryota Tanaka @rtanaka_lab]

私が関わった視覚読解に関する研究が、報道発表されました！

文書画像をLLMに理解させるための技術を新たに提案しました。NTT版LLMのtsuzumiに技術導入されております。