Sho Takase

自然言語処理の研究をしています

[Kazuki Fujii @kazukifujii]

Finally!! Accepted to ICLR 2026! 🎉

Cited by Nemotron 3 Nano and OLMo 3, yet it was a long journey to get this through academic peer review. So glad to cross the finish line.

📄 Rewriting Pre-Training Data Boosts LLM Performance in Math and Code: https://t.co/tbGL1IPiQf

[Tsubasa Takahashi @tsubasashi]

My first author paper (work done at Turing Inc.) has been accepted to ICLR 2026! #ICLR2026
Thanks for all co-authors and ex-colleagues!!

[Sho Takase @shot4410]

@kazukifujii なるほど、年次大会の直後にGTCというスケジュールなんですね、それは確かに大変ですね。頑張ってください。
はい、こちらこそ是非お願いします。自分は基本的に空いているので。

[Sho Takase @shot4410]

共著の論文がICLRに採択されました。
大規模言語モデルの事前学習において学習率を下げずに終わらせた方がチューニング後の性能まで含めると性能が良いということを示しています。査読者の3/4がReject寄りの点数でしたが逆転できました。

[Kazuki Yano @kyano__nlp]

My first-author paper has been accepted to #ICLR2026!

Huge thanks to my co-authors: @shunkiyono, @sosk_sosk, @shot4410, and @drJunSuzuki!

[Sho Takase @shot4410]

@kazukifujii ありがとうございます！
藤井さんもおめでとうございます
ICLRは自分は今のところは参加予定はないですね。予算の面で気軽に行けそうな場所ではないので……。
言語処理学会年次大会には参加するのでもしそちらに参加されるのであればそこでお話できればと思います。

[Sho Takase @shot4410]

@tsubasashi @kyano__nlp @shunkiyono @sosk_sosk @drJunSuzuki ありがとうございます！
翼さんもおめでとうございます

[Kazuki Yano @kyano__nlp]

My first-author paper has been accepted to #ICLR2026!

Huge thanks to my co-authors: @shunkiyono, @sosk_sosk, @shot4410, and @drJunSuzuki!

[Kosuke Yamada @kosyamada]

サイバーエージェントAI lab アドベントカレンダー16日目の記事を公開しました！タイトルの通り、Geminiに謎解きをさせてみましたという話です。簡単な検証しかしてないですが、面白い結果になっているかと。どうしたら解けるようになりそうか分かったら教えて欲しいです。
https://t.co/KhJ9mIS3Ik

[Asahi Hentona @yaelanya_ml]

CyberAgent AI Labアドベントカレンダー (https://t.co/bEDeRBAQGd) 15日目の記事を公開しました！
爆弾解除ゲームをGemini 3 Proとプレイしてみた話になります💣️
https://t.co/JsAzKgPhZr

前編の佐藤さん( @shiki_satou )の記事とあわせて是非ご覧ください🙏
https://t.co/HuEMmR7eLU

[CyberAgent AI事業本部広報 @cyberagent_ai]

＼ アドベントカレンダー更新中 ／

研究開発組織AI Labにおいて、有志メンバーによる「CyberAgent AI Lab Advent Calendar 2025」を毎日更新しています✨
皆さまぜひご覧ください！
https://t.co/n3zg2Dodso

[Sho Takase @shot4410]

CyberAgent AI Labアドベントカレンダーとして記事を書きました。
Transformerの発展を概説していて、元々の論文で提案されている構造と、LLMで使用されている構造は全然違います、という話です。
https://t.co/4ETVKcRY8O

[Shun Kiyono @shunkiyono]

COLM2025参加します！高瀬さんの論文の発表をさせてもらいます。よろしくお願いします。

[Sho Takase @shot4410]

なお、この論文に関してCOLMでは「2020年以前の論文は古すぎるから議論の俎上に載せるな」「引用数が数件の論文は無価値」という、だいぶ強い主張をする査読者が出現し、なかなかエキサイティングでした
https://t.co/Vr7Lli2sQp

[Sho Takase @shot4410]

COLM 2025で発表予定の論文の紹介スライドをアップしました。
大規模言語モデルの学習を制御するために Transformer の勾配のノルムの上界を算出し、これを抑える条件を提示しています。
https://t.co/0PEWKo21KG

[mooz @stillpedant]

Webブラウザを人間よりも高い精度で操作することに（世界で初めて）成功しました！

今回、開発した cotomi Act というエージェント技術はWebArena というWebエージェントのベンチマークで8/27現在、人間も上回って世界トップ性能の実現に成功しています。

https://t.co/sT5TZRcGUl

🧵

[Sho Takase @shot4410]

@dai0NLP ありがとうございます！

[Sho Takase @shot4410]

7月末でSB Intuitionsを退職し、8月よりサイバーエージェント AI Labで働いています。
引き続き、大規模言語モデル周辺というか���自然言語処理・機械学習分野の研究に取り組む予定です。

[Sho Takase @shot4410]

@beatinaniwa ありがとうございます！

[Sho Takase @shot4410]

@FQCme1 こちらこそ良い本をありがとうございます。アカウントを発見できなくて元ポストに含められず申し訳ない…

[Sho Takase @shot4410]

著者の福地成彦さんから『LLMとハルシネーション 基礎と対策』をご恵贈いただきました。自然言語処理の基礎を概観した後にLLMを紹介し、ハルシネーションやRAGにふれるという盛り沢山な内容。ところどころに挿入されているノートは読み物として面白く、より詳しく知るための文献��内があるのも親切。