Masaru Isonuma

JSPS overseas research fellow @EdinburghNLP #NLProc

[Masaru Isonuma @m_isonuma]

Check out our 2 papers at the poster session #ICLR2025 from 10am today!

UniDetox: Universal Detoxification of Large Language Models via Dataset Distillation
https://t.co/TkjDgGqtOA

What's New in My Data? Novelty Exploration via Contrastive Generation
https://t.co/981ZRycVbk

[Masaru Isonuma @m_isonuma]

主著の宇都宮さんは工学系にもかかわらず修士1年で司法試験に通った異才です。こういった最先端のAI技術に対する法的な議論は面白く、興味ある法学徒の方いたらお声がけください。

[Masaru Isonuma @m_isonuma]

共著のposition paperが #ICML2026 にspotlightで採択されました！
AIの学習が著作権侵害にあたる場合、学習後のAIからの著作物のopt out (ガードレールや逆学習など)が法的には有効でないことを論じました。

[Masaru Isonuma @m_isonuma]

Our paper has been accepted as a spotlight in the position paper track at #ICML2026
We argue that post-hoc opt-outs of copyrighted material from trained models (e.g., unlearning, guardrails) cannot legally cure infringement.
https://t.co/PjfJpkbnhr

[Masaru Isonuma @m_isonuma]

Our paper has been accepted as a spotlight in the position paper track at #ICML2026
We argue that post-hoc opt-outs of copyrighted material from trained models (e.g., unlearning, guardrails) cannot legally cure infringement.
https://t.co/PjfJpkbnhr

[Odashi @odashi_t]

EMNLP Findings の Instability in Downstream Task Performance During LLM Pretraining (Nishida, Isonuma, Oda) は僕のお気に入りなのでよろしくお願いします。モデル平均による性能の不安定性解消効果を評価尺度の一次近似と実測の両方で検証しています。　https://t.co/ErvEqMJkd3

[Masaru Isonuma @m_isonuma]

YANSの招待セッションに呼んでいただきました！よろしくお願いします。

[YANS @yans_official]

【招待ポスターの情報公開！📢】
#YANS2025 の招待ポスターセッションの各発表の概要を公開しました！

気になる発表があれば #YANS2025 のハッシュタグをつけて投稿してみてください🌱
https://t.co/av6Tk2IWyG

[Hirokatsu Kataoka | 片岡裕雄 @HirokatuKataoka]

Our two workshop proposals, LIMIT and FOUND, have been accepted for #ICCV2025 / @ICCVConference !! If you’ll be in Hawaii for the conference, we’d love for you to join us at our workshops 😎
# See the following threads

[Masaru Isonuma @m_isonuma]

Distilling the corpus is challenging as SGD-based bi-level optimization is generally not applicable to textual data.
Instead of SGD, we use contrastive decoding for distillation, avoiding the need for bi-level optimization.

[Masaru Isonuma @m_isonuma]

This work proposes "reverse dataset distillation," which creates data that induces gradients opposite to those of the original dataset.
By training a model on this distilled data, the model unlearns the original dataset without significant performance degradation. #ICLR2025

[盧 慧敏（ロ ケイビン） @HuiminLU1999]

#ICLR #ICLR2025
Tomorrow! Apr 26th🚨
Come check out our poster at #273 from 10:30 am to 12:30 pm!
TLDR; Dataset distillation normally compresses data by matching model gradients. We reversed it: creating data that have opposite gradients and makes models unlearn toxicities.

[Masaru Isonuma @m_isonuma]

https://t.co/6nEVh8bDF1

[Masaru Isonuma @m_isonuma]

New paper: "What's New in My Data? Novelty Exploration via Contrastive Generation," w/ @iatitov at @EdinburghNLP
https://t.co/vXghE4StN1

With no access to the data, but only access to the pre-trained and fine-tuned model, we can reveal novel aspects of the fine-tuning dataset.

[Masaru Isonuma @m_isonuma]

Check out our 2 papers at the poster session #ICLR2025 from 10am today!

UniDetox: Universal Detoxification of Large Language Models via Dataset Distillation
https://t.co/TkjDgGqtOA

What's New in My Data? Novelty Exploration via Contrastive Generation
https://t.co/981ZRycVbk

[盧 慧敏（ロ ケイビン） @HuiminLU1999]

#ICLR #ICLR2025
Tomorrow! Apr 26th🚨
Come check out our poster at #273 from 10:30 am to 12:30 pm!
TLDR; Dataset distillation normally compresses data by matching model gradients. We reversed it: creating data that have opposite gradients and makes models unlearn toxicities.

[Yu Takagi @yu_takagi]

4月より名古屋工業大学 大学院工学研究科に准教授として着任し、新たに研究室を立ち上げました。

今後も引き続き、機械学習モデルの原理解明とシステム神経科学の二本柱で研究をすすめていきます。

共同研究のお誘い、学振PD受け入れや大学院進学など、ご興味ある方はぜひお気軽にお声がけください😀

[Masaru Isonuma @m_isonuma]

@wkpeco ありがとうございます！！

[Masaru Isonuma @m_isonuma]

2年いたエジンバラを離れ、NII LLMセンター (LLMC)と東北大学 言語AI研究センターの特任助教に着任しました。LLMの学習メカニズムの解明を通じて、効率的なLLMの学習や安全なLLMの開発に貢献していきます。LLMCではRAを募集していますので、原理解明まわりで興味ある学生の方は気軽にご連絡ください！

[Masaru Isonuma @m_isonuma]

I left Edinburgh and joined the National Institute for Informatics R&D Center for LLMs and the Tohoku Univ. Center for language AI research. I’m so grateful to @iatitov for hosting me in his group across two years. I learned a lot from him, resulting in fruitful research work.

[Masaru Isonuma @m_isonuma]

また情報科学の達人プログラムのメンターを今年度から務めることになりました。早速昨日キックオフミーティングがあったのですが、中高生離れした実績と意欲に驚くばかりでとても楽しみです。公立高校の方が少ないのは致し方ないですが、もっと増えてほしいですね。
https://t.co/ej2pSVR2O0

[Masaru Isonuma @m_isonuma]

東北大では、有難いことにBOOSTに採択された「言語モデルの知的能力発現過程の解明」の研究課題に取り組む予定です。日本のNLPの2大拠点で多くの方々と一緒に研究できることをとても楽しみにしています。いただいた支援や環境に恥じない成果を出していきたいと思います。
https://t.co/y0yYVykaC0

[JST 科学技術振興機構 @JST_info]

〈プレスリリース〉国家戦略分野の若手研究者及び博士後期課程学生の育成事業（#BOOST）次世代AI人材育成プログラム（若手研究者支援）における令和6年度新規研究課題の決定について
https://t.co/mJG9ImJL7i
325件の応募があり、80件の研究課題を採択しました。
#JST #科学技術振興機構

[Hitomi Yanaka (谷中 瞳) @verypluming]

4月2日になってしまいましたが、4月1日に理化学研究所 革新知能統合研究センター 説明可能AIチームのチームリーダーに着任しました！その名の通り多角的な観点から説明可能AIの実現を目指します。少しずつ唯一無二のXAIチームメンバーを集めていきます、よろしくお願いします！https://t.co/3ukMs5EIzv

[Masaru Isonuma @m_isonuma]

@yo_ehara ありがとうございます！！

[Masaru Isonuma @m_isonuma]

@kashu_yamazaki ありがとうございます！

[Masaru Isonuma @m_isonuma]

I left Edinburgh and joined the National Institute for Informatics R&D Center for LLMs and the Tohoku Univ. Center for language AI research. I’m so grateful to @iatitov for hosting me in his group across two years. I learned a lot from him, resulting in fruitful research work.