はるやま | Makoto Haruyama

ナレッジワーク ← Ex ZENKIGEN, AWS, DeNA
スライド一覧 : :

[Sakana AI @SakanaAILabs]

How do we make LLMs faster and lighter? Don’t force the GPU to adapt to sparsity. Reshape the sparsity to fit the GPU! ⚡️

Excited to share our new #ICML2026 paper in collaboration with @NVIDIA: "Sparser, Faster, Lighter Transformer Language Models". This work introduces new open-source GPU kernels and data formats for faster inference and training of sparse transformer language models:

Paper: https://t.co/3Avj8N8iYO
Blog: https://t.co/SqFkkKvkbd
Code: https://t.co/PHSzMq8pg0

While LLMs are undoubtedly powerful, they are increasingly expensive to train and deploy, with a large part of this cost coming from their feedforward layers. Yet, an interesting phenomenon occurs inside these layers: For any given token, only a small fraction of the hidden activations actually matter. The rest approximate zero, wasting computation. With ReLU and very mild L1 regularization, this sparsity can exceed 95% with little to no impact on downstream performance.

So, can we leverage this sparsity to make LLMs faster? The challenge is hardware. Modern GPUs are optimized for dense matrix multiplications. Traditional sparse formats introduce irregular memory access and overheads that cancel out their theoretical savings for GEMM operations.

Our contribution is twofold:
1/ We introduce TwELL (Tile-wise ELLPACK), a new sparse packing format designed to integrate directly in the same optimized tiled matmul kernels without disrupting execution.
2/ We develop custom CUDA kernels that fuse multiple sparse matmuls to maximize throughput and compress TwELL to a hybrid representation that minimizes activation sizes.

We used our kernels to train and benchmark sparse LLMs at billion-parameter scales, demonstrating >20% speedups and even higher savings in peak memory and energy.

This work will be presented at #ICML2026. Please check out our blog and technical paper for a deep dive!

[Walden @walden_yan]

Cool to see failure modes of different coding agents in new report from @greptile - seems like Devin is better than humans in almost all categories!

[Claude @claudeai]

Memories are stored as files, so developers can export them, manage them via the API, and keep full control over what agents retain.

Read more: https://t.co/PcfYg5sFxe

[ClaudeDevs @ClaudeDevs]

Over the past month, some of you reported Claude Code's quality had slipped. We investigated, and published a post-mortem on the three issues we found.

All are fixed in v2.1.116+ and we’ve reset usage limits for all subscribers.

[はるやま | Makoto Haruyama @Spring_MT]

またIT土方と呼ばれる時代に戻るのではないか

[はるやま | Makoto Haruyama @Spring_MT]

つらいのは組織の問題、楽しくないのは個人の問題
っていうのは合っているか？

[Anthropic @AnthropicAI]

New on the Engineering Blog:

Building Managed Agents—our hosted service for long-running agents—meant solving an old problem in computing: how to design a system for “programs as yet unthought of.”

Read more: https://t.co/YYaEub2QGV

[はるやま | Makoto Haruyama @Spring_MT]

CTOといっしょにFDEの立ち上げしてます！FDEのポジションも空いているので、興味ある人は連絡ください〜
https://t.co/1T5uZ5DqES

[DHH @dhh]

*Kaigi on Rails, not RubyKaigi. Shibuya. You should come!

[はるやま | Makoto Haruyama @Spring_MT]

https://t.co/XW4oTmOXuW これはたいへん

[ナレッジワーク @kworkcom]

【新ソリューション発表】
個社固有の複雑な業務をAIで支援・代行できる「ナレッジワークカスタマイズAIエージェント」 を提供開始しました。専門コンサルタントが、自社の業務にあわせてカスタマイズしたAIエージェントを構築し、業務を変革し、成果を創出できるAXを実現します。

[株式会社AgenticSec @AgenticSecJP]

AI自動ペネトレーションテスト「RapidPen」のホワイトペーパーの配布を開始しました。

RapidPenで取り組む課題・ユースケースの他、Hack The Box (ペネトレーションテストトレーニングサイト) での実験結果を掲載しております。

下記リンクよりお気軽にご請求ください。

https://t.co/BxpW35VdDT

[はるやま | Makoto Haruyama @Spring_MT]

子どもと みてね の1秒動画を一緒に見てたら子供が、「こころがいっぱいつまってるね」と言ってて、楽しいとか面白いとか悲しいとか沢山つまってるなって思ってとても感動しました。いつもこころがいっぱいにつまった動画をありがとう みてね #mitene

[はるやま | Makoto Haruyama @Spring_MT]

葉っぱのギザギザ、間隔が決まる仕組みを発見　「調整役」の役割解明（毎日新聞）
#Yahooニュース
https://t.co/mqgjcIsUHT

[ゆっきー | SmartBank @yuki930]

Claude codeにツール作ってもらう
→Githubに公開
→streamlitにアップして使う
= 便利すぎる

という事に気づいた日曜日

これは目標設定して、体重計のCSVデータをアップロードしたらグラフを書いてくれるアプリ
https://t.co/VoQuESk3WU
https://t.co/XK9IzbnG50

[ゆっきー | SmartBank @yuki930]

今朝の出来事

娘「パウパトロールのリュック欲しい！」

私「えーどこに売ってるかねー？」

娘「マルハニチロ」

私「マルハニチロ？」

息子「マルハニチロは2026年3月からウミオスに変わります」

私「？！？！」

CMの力ってすごいね🤣

[はるやま | Makoto Haruyama @Spring_MT]

toon試してみたけど、増えるパターンもあるのね、、、

[Andy Jassy @ajassy]

New multi-year, strategic partnership with @OpenAI will provide our industry-leading infrastructure for them to run and scale ChatGPT inference, training, and agentic AI workloads.

Allows OpenAI to leverage our unusual experience running large-scale AI infrastructure securely, reliably, and at scale.

OpenAI will start using AWS’s infrastructure immediately and we expect to have all of the capacity deployed before end of next year-- with the ability to expand in 2027 and beyond. https://t.co/l2xXvEEPn3

[【公式】東京大学大学院理学系研究科附属植物園（小石川植物園） @bg_utokyo]

昨日、園内の池にオオカナダモが投棄されているのを確認しました。オオカナダモは増殖しやすく、水域の他の植物の生育に悪影響を与える恐れがあります。また園内への植物の無断持込は、固く禁止しております。不審な行為を見かけた方は門衛所までご連絡ください。 #小石川植物園

[はるやま | Makoto Haruyama @Spring_MT]

https://t.co/8nCZZHT482
お、googleがmemoryについて論文だしてる