Yukito Tajima

0x0A LF | M2 CS @ Science Tokyo | Yokota Lab | Principal Research Engineer @ CoeFont

[Kazuki Fujii @kazukifujii]

テックブログ公開 Day5です

FlashAttentionや昨今のHardware Awareな高速化手法を理解したり、提案したりする上で必須となるCUDA Programmingに関して、基礎から解説していくブログシリーズの第一弾です。3万字超えのブログですが、かなり分かりやすく書いていますのでぜひご覧ください。

CUDA Programming Guide Part 1｜Kazuki Fujii https://t.co/5GjsuGIAVS

[Yukito Tajima @TitaniumJely]

GPT-OSS-Swallow v0.1 の MXFP4 版を公開しました。

GPT-OSS-Swallow を、より少ないメモリで動かせるようにするための追加リリースです。これにより、これまで動作環境の制約で試しづらかった場合にも、利用しやすくなります。

https://t.co/qwy0nTUB2q

[Kazuki Fujii @kazukifujii]

GTC2026でSwallow LLMの開発に関するトークを行いました！
お越しいただいた方、ありがとうございました。

[Yukito Tajima @TitaniumJely]

Our work on Swallow LLM at Science Tokyo was featured in the keynote presentation at GTC 2026.

[Naoaki Okazaki @chokkanorg]

NVIDIA-Nemotron-3-Super-120B-A12BをSwallow LLM Leaderboardに掲載しました。日本語タスクではgpt-oss-120bよりも性能が高く、GPT-OSS Swallow 120Bに迫ります。特に学術・科学の知識が���富で、日本語能力はCPTで伸びそうです。NVIDIA様から事前アクセスを頂戴しました。 https://t.co/uI3REi97rh

[Masaki Kawamura @Masakichi333210]

Our paper "PowerCLIP: Powerset Alignment for Contrastive Pre-Training" has been accepted to @CVPR 2026! 🎉 See you in Denver!

[Yukito Tajima @TitaniumJely]

@AiXsatoshi 元モデルが NVFP4 ということもあり悩ましいところではあります。ロードマップには乗っていませんが、愚直に AWQ でよければ可能ですので検討してみます

[Yukito Tajima @TitaniumJely]

Qwen3-Swallow と GPT-OSS-Swallow モデルを公開しました。
今回は GPTQ/AWQ の 4bit 版も提供しておりますのでぜひお試しください。

[Naoaki Okazaki @chokkanorg]

📢 GPT-OSS Swallow と Qwen3 Swallow をリリースしました。

継続事前学習＋SFT＋強化学習を全面刷新し、
日本語性能と推論能力を両立させたオープンなLLMを、
Apache 2.0ライセンスで利用できます。

Qwen3 Swallow: https://t.co/tTRVGHnF4M
GPT-OSS Swallow: https://t.co/L6a2zCjc7i

[Kazuki Fujii @kazukifujii]

We've officially released Qwen3-Swallow and GPT-OSS-Swallow! 🚀 It’s quite an emotional moment for me, as we’ve been working hard on these models since the summer of 2025.

For this release, I was responsible for the continual pre-training (CPT), SFT, and training data refinement across all models. We successfully enhanced the Japanese language capabilities while fully preserving the strong math and coding performance of the base models.

I'll also be giving a talk about this at NVIDIA GTC 2026 in San Jose, CA! See you there!
#SwallowLLM #GTC2026

[Masanari Oi @stjohn2007]

評価フレームワークの実装に携わりました。
(評価は@koshiro_sa110 をはじめとする評価チームがやってくれました🤞)
自分は最近RLをやってます😎

[Yukito Tajima @TitaniumJely]

@alfredplpl リリースに間に合わなかったのですが、需要がありそうですので GGUF 版も検討します。

[Kazuki Fujii @kazukifujii]

Swallow LLM Projectでは長年手付かずだった量子化回りを今回田島さんに担当いただきました。量子化モデルにより使いやすい形となっていますので、ぜひご利用ください！
https://t.co/4kiawQYdr4

[Koshiro Saito @koshiro_sa110]

We are thrilled to announce the release of GPT-OSS Swallow and Qwen3 Swallow 🎉

I was involved in evaluation, framework development, and mentoring as a student leader.

Leaderboard: https://t.co/CxhlRA2EIO
Swallow-Evaluation-Instruct: https://t.co/OI75Q40ro8

[Taishi Nakamura @taishinakamura_]

Qwen3-Swallow と GPT-OSS-Swallow モデルを公開しました。
RL学習の担当をしました。
強化学習の段階においても、日本語タスクの性能改善が見られています。

[Kazuki Fujii @kazukifujii]

Swallow Project(Swallow LLM)についてご存知の方はかなり狭い界隈に閉じており、もう少し広く使われて欲しいなと思っています…

加えて、LLM開発と研究の狭間のようなところの認知が広がれば良いなとも思っています。(ブログ執筆で少しでもSwallowの認知度を上げようとしていますが限界があり…)

[Daisuke Nohara @D_Nohara]

New arXiv preprint! "On the Optimal Reasoning Length for RL-Trained Language Models"

Two failure modes in RL-trained reasoning: long outputs increase dispersion, short outputs cause under-thinking.
This tradeoff can be monotonic or non-monotonic depending on the model.

[Taishi Nakamura @taishinakamura_]

Accepted as an ICLR 2026 Oral! 🎉
Interested in scaling MoE reasoning? Let's chat!
https://t.co/BpXNv1ihpW

See you in Brazil! 🇧🇷

#iclr #iclr2026

[Masaki Kawamura @Masakichi333210]

ICLRに投稿されているVLA論文のサーベイ記事を執筆しました。

自身の勉強も含めて、VLAの課題点や流行を把握するためにまとめを作成しました。論文をジャンル別に整理し、���チベーションと提案手法の要点を短くまとめています。

気になるところだけでもぜひ！
https://t.co/I4athytumb

[Kazuki Fujii @kazukifujii]

Finally!! Accepted to ICLR 2026! 🎉

Cited by Nemotron 3 Nano and OLMo 3, yet it was a long journey to get this through academic peer review. So glad to cross the finish line.

📄 Rewriting Pre-Training Data Boosts LLM Performance in Math and Code: https://t.co/tbGL1IPiQf

[Taishi Nakamura @taishinakamura_]

Our paper "Optimal Sparsity of Mixture-of-Experts Language Models for Reasoning Tasks" has been accepted to ICLR 2026! 🎉
See you in Brazil! 🇧🇷