Soichi Matsuda |

行列演算の塊を倒すために、仕方なく半導体沼に落ちた人。LeapMindという会社で、GPUと戦っていたが戦いに敗れる→AI/半導体の出口戦略を作っている→自己紹介サイトをGithub Pagesで作り直してみた。少しづつ拡張していくつもり。リンクは下。

[Soichi Matsuda | @mtzd3]

この考え良いと感じてる

[인내와자유 @endurance9999]

🔬 CXL, 메타가 직접 칩까지 만들어 증명한 것

43.7%.

메타 서버의 43.7%가 CPU가 아니라 메모리 용량 때문에 제 성능을 못 내고 있었다.

세계에서 가장 큰 데이터센터를 운영하는 회사가, 서버 절반 가까이를 "메모리 부족"으로 낭비하고 있었다는 뜻이다.

이 문제를 풀기 위해 메타가 한 일이 심상치 않다.

시중에 나와 있는 CXL 제품을 전부 검토했다. 결과? 못 쓰겠다는 결론이었다. 대부분 새 메모리를 묶어 파는 구조여서 메타가 원하는 "구형 DDR4 재활용"에 맞지 않았고, DDR4를 지원하지 않거나 전력·비용 부담이 컸다.

결국 메타는 직접 칩을 설계했다.

비스타라(Vistara).
CXL Type-3 메모리 확장 ASIC. 2026년 6월 29일, 미국 롤리에서 열린 ISCA 2026 학회에서 발표된 이 칩은, CXL 기술을 실험실이 아닌 실제 프로덕션 데이터센터에서 가동한 세계 최초의 하이퍼스케일 사례다.

여기서 ALAB 투자자가 주목해야 할 지점이 있다.

비스타라의 용도 자체는 ALAB의 Leo CXL과 다르다. 비스타라는 구형 DDR4 메모리를 새 서버에 재활용하는 칩이고, Leo CXL은 AI 추론에서 KV cache를 DRAM↔SSD 사이에서 지능적으로 관리하는 칩이다. 목적이 다르다.

그런데 기반 기술은 완전히 같다.

둘 다 CXL Type-3 ASIC이다. 둘 다 PCIe 물리계층 위에서 작동한다. 둘 다 "빠른 메모리와 느린 메모리 사이에서 데이터를 어디에 둘지 결정하는" 일을 한다.

메타의 논문이 증명한 것은 바로 이 기반 기술의 프로덕션 레디 여부다.

🔍 Vistara 논문에서 ALAB 투자자가 가져가야 할 팩트는 정확히 세 개다.

첫째, CXL tail latency가 안정적이다.

기존에 CXL 회의론자들이 가장 많이 꺼내는 무기가 "CXL은 본질적으로 tail latency가 불안정하다"는 주장이었다. Vistara 논문은 이걸 정면으로 반박한다. 1개부터 100개 스레드 동시 접근까지, CXL tail latency가 로컬 DRAM과 유사한 패턴으로 증가했다는 실측 데이터를 제시했다.

Leo CXL이 KV cache 오프로딩 경로에서 tail latency를 안정적으로 관리할 수 있느냐는 전제 조건 중 하나다. 메타가 자체 ASIC으로 이 전제를 증명해준 셈이다.

둘째, 핫/콜드 페이지 자동 분류 오버헤드가 0.5% 미만이다.

이것이 가장 중요한 숫자일 수 있다.

Leo CXL의 핵심 역할은 "자주 재사용될 KV cache는 DRAM에 유지하고, 덜 쓰이는 건 SSD로 보내는" 판단이다. 이 판단을 리눅스 커널의 TPP(Transparent Page Placement)와 TMO(Transparent Memory Offloading)가 수행한다. 문제는 이 과정이 얼마나 무거우냐는 것이었다.

Vistara 논문은 실제 프로덕션 워크로드에서 이 오버헤드를 측정했다. 0.5% 미만. 거의 공짜다. 캐시 서비스, ML 파라미터 서버, 데이터 웨어하우스, CI 빌드 — 모든 워크로드에서 일관되게 낮았다.

Drain Time 프레임워크에서
Leo CXL이 G2↔G3.5 경계(DRAM↔SSD, 수초↔1분)를 관리할 때, 이 소프트웨어 티어링 메커니즘이 실용적 수준이라는 증거가 하이퍼스케일러에 의해 제출된 것이다.

셋째, 메타가 시중 제품으로는 안 된다고 판단하고 직접 ASIC을 설계했다.

이 사실이 시사하는 바가 크다. CXL 컨트롤러는 범용 칩으로 해결되지 않는, 워크로드 특화 설계가 필요한 영역이라는 뜻이다. DIMM 호환성, 전력 관리, 보안 부팅(RISC-V 코어 3개 탑재), 지연시간 최적화 — 이 모든 것을 하나의 ASIC에 통합해야 한다.

Astera Labs는 바로 이런 종류의 전문 커넥티비티 실리콘을 설계하는 회사다. Leo CXL의 존재 이유가 "범용 칩으로는 안 된다"는 바로 그 전제 위에 서 있다.

❗그리고 한 가지 더. 많은 사람이 놓치는 디테일이 있다.

비스타라가 탑재된 서버의 CPU는 AMD EPYC Turin 158코어다.

Action CPU(AMD EPYC/Intel)는 NVLink-C2C가 없다. 모든 인터커넥트가 PCIe를 경유한다. 즉 ALAB의 소켓당 실리콘 콘텐트가 NVIDIA Vera보다 높다.

메타의 비스타라 서버가 AMD EPYC 기반이라는 것은, CXL 메모리 확장이 NVIDIA 전용 생태계 바깥에서도 대규모로 채택되고 있다는 실증이다. Bernstein이 추정한 2030년 서버 CPU TAM $223B 중 AMD x86 점유율 ~40%가 유지된다면, 이 소켓 풀 전체가 Leo CXL의 어드레서블 마켓이다.

🎯정리하면 이렇다.

메타는 CXL이 "되는지 안 되는지"를 자기 돈과 자기 칩으로 증명했다. 결론은 "된다"였다.

CXL tail latency는 안정적이고, 소프트웨어 티어링 오버헤드는 0.5% 미만이고, 범용 칩으로는 부족해서 전용 ASIC이 필요하고, AMD EPYC 서버에서 대규모로 작동한다.

그렇다면 질문은 하나만 남는다. G2↔G3.5 경계에서 KV cache의 98.7%가 통과하는 그 경로를, 누가 관리하게 될 것인가?

#ALAB #connectivity

[Soichi Matsuda | @mtzd3]

4die構成見直すんだって。まぁそりゃそうよ。いくらすんだって話。
https://t.co/kzgKtpJFeq

[Soichi Matsuda | @mtzd3]

良さげ

[OASIS @oasisdevices]

Today we introduce OASIS 1. 

The smart ring built for private dictation. Whisper to write. Touch to edit. 

A first step beyond the keyboard toward a world where your intent follows you across every device.

Order at https://t.co/gZieZw6vYJ first batch is limited.

[Meituan LongCat @Meituan_LongCat]

Introducing LongCat-2.0 🐱
1.6T parameters · MoE with ~48B active · 1M context
The full model behind Owl Alpha on @OpenRouter — now available.

Built for agentic coding from the ground up:
◆ LongCat Sparse Attention (LSA) — scales efficiently for 1M-context tokens
◆ Zero-Compute Experts — dynamic activation 33B–56B per token, zero wasted compute
◆ MOPD — three specialized expert groups (Agent / Reasoning / Interaction), gate-routed per task

How it stacks up:
→ Terminal-Bench 2.1: 70.8
→ SWE-bench Pro: 59.5 (GPT-5.5: 58.6)
→ SWE-bench Multilingual: 77.3
→ FORTE: 73.2 · RWSearch: 78.8 · BrowseComp: 79.9

📖 Tech Blog: https://t.co/4KrjyKiDBn
Try it across different scenarios 🧵👇

[NVIDIA AI @NVIDIAAI]

What if your model handled its own tuning? ⚙️

With NVIDIA TAO 7, just prompt your coding agent what you want in plain language and let it do the rest.

• Agent skills plug into your coding agent and improve accuracy.
• AutoML removes the guesswork from hyperparameters. LLM-guided tuning finds strong configs up to 2x faster.
• Fine-tune any @huggingface CV or VLM model on local NVIDIA GPUs.
• Data enhanced fine-tuning helps your agent identify why the model fails, then fix it.

Try TAO skills ➡️ https://t.co/c0djOkrQ3p

[Soichi Matsuda | @mtzd3]

これは本当にそう。しかし、組織の情報設計をミスってると、そもそも現場情報が入らない/もしくは正しい情報が入ってこなくなり、意思決定出来なくなるため、無理矢理現場に入って、情報収集するしかなくなる。これは、無計画に採用していくと起こる弊害である

[角田望｜LegalOn Technologies CEO @Tsunoda_LegalOn]

経営者や役員、マネージャーのカレンダーが定例MTGや1 on 1で埋まり出したら危険信号。マネージャーが「ことに向かう」のではなく「人に向かっている」とき、そこには構造的課題が隠されている場合が多い。例えば、
- マネージャーが成果創出をメンバーに依存しており、メンバーとマネージャーの主従が逆転しグリップできなくなっている
- 1 on 1を中心としたピープルマネジメントを回すことをもって仕事をしている気になってしまっている
- 36協定によって限られている1日の稼動時間の多くを定例MTGで消費しており、成果創出のための時間を圧迫している
などの弊害がでる。

しかも、一度設定されてしまったミーティングは、意識的に断捨離しないと残り続けてしまう。
そして新しい定例や1 on 1が増えてゆき、気づいたらカレンダーが定例MTGで埋まってしまっていて、成果を生み出すための時間がほぼ残されていない、ということになる。
こうなってしまうと生産性は著しく低下していく。

[Soichi Matsuda | @mtzd3]

やけにジムが空いてるな。と思ったらサッカーだったのか。私のタイムラインには、サッカーの話題も台風の話題も上がってこないから、一般情報全くキャッチアップ出来てない

[PyTorch @PyTorch]

One runtime, multiple GPU architectures, and zero vendor-specific model code.

In this blog post, the TokenSpeed team @lightseekorg introduces TokenSpeed-Kernel, a portable, high-performance kernel system built for modern LLM inference. Using GPT-OSS 120B as a case study, they show how specialized kernels for @AIatAMD and @NVIDIAAI GPUs can seamlessly coexist behind a common API. This unified approach delivers up to 3.6x higher throughput on the AMD MI355X, all without requiring any changes to the underlying model logic.

Link to blog in comments section 👇

[NVIDIA AI @NVIDIAAI]

The rise of MoE models introduced new challenges in training, and @huggingface's Transformers v5 brought first-class support for solving them.

Now, NeMo AutoModel builds on top of v5. Part of the NeMo framework for building models at scale, NeMo AutoModel brings optimizations to a broad set of model families through support for Expert Parallelism, DeepEP, and TransformerEngine kernels with a few lines of code.

We found NeMo AutoModel brings a 3.4 to 3.7x higher training throughput for popular MoE models. You can read more here: https://t.co/TNlBsKWwrJ

[Ornith @ornith_]

Aloha! 🌺 Meet Ornith-1.0, a family of open-source LLMs specialized for agentic coding.

Ornith-1.0 spans the full parameter sizes including 9B Dense, 31B Dense, 35B MoE, and 397B MoE. It achieves state-of-the-art performance among open-source models of comparable size on coding benchmarks including:
✅Terminal-Bench 2.1(77.5)
✅SWE-Bench(82.4 on verified, 62.2 on pro, 78.9 on Multilingual)
✅NL2Repo(48.2)
✅SWE Atlas(41.2 on QnA, 42.6 RF, 39.1 TW)
✅ClawEval(77.1)

Post-trained on top of gemma4 and qwen3.5, Ornith-1.0 employs a novel self-improving training strategy in which reinforcement learning is used to generate not only solution rollouts, but also the task-specific scaffolds that drive those rollouts. By jointly optimizing the scaffold and the resulting solution, the model generate higher-quality solutions in agentic coding.😎

All models are released under the MIT license, enabling full commercial and research use.

📖Tech Blog: https://t.co/qT9N2HYWFn
🤗Huggingface: https://t.co/PRrwqjeBtM

[Soichi Matsuda | @mtzd3]

Fable-5は本当に賢い

[Soichi Matsuda | @mtzd3]

Board memberを選定出来る状態にしておきたいよね。そのためには手金で初めて黒字化。だけど、GPU高杉で何かを始めるにも手詰まる。どうしたものか、と悶々としているがこの人達は、生活コスト下げるために京都に移住してたよな。それもありかな

[Akshay Kothari @akothari]

Notion didn’t have a board until two years ago.

Becoming cash-flow positive early allowed us to raise several rounds of financing without diluting ourselves too much or giving up board seats along the way.

That gave us a rare opportunity: to build our board from scratch, much like you would build an executive team.

Over the past two years, @ivanhzhao and I met with some of our heroes. We’re delighted to share that Jonathan Chadwick, Gretchen Howard, @gradypb, @chrispa, and @pdhsu have joined @NotionHQ's board of directors. (Welcome y'all!)

I spoke with @alexrkonrad to share what we learned through the process. Hope it’s helpful if you ever decide to do this for your own company.

[Claude @claudeai]

Fable 5 is state-of-the-art on nearly all tested benchmarks, with exceptional performance in software engineering, knowledge work, scientific research, and vision.

The longer and more complex the task, the larger Fable 5’s lead over our other models.

[NVIDIA AI @NVIDIAAI]

We trained Llama 3 8B and 405B with NVFP4 precision on the NVIDIA Blackwell platform.

Here's what we found: 1.31–1.73× faster than FP8, with zero accuracy loss.

[antirez @antirez]

DeepSeek v4 PRO running via SSD streaming on my 128GB MacBook m5 max. 1.6 trillion parameters.

[NVIDIA AI @NVIDIAAI]

Today we're shipping Nemotron 3 Ultra.

A 550B MoE frontier-intelligence open model built for long-running agents.

It delivers 5x faster inference and lowers the cost of complex agentic tasks by up to 30% versus other open frontier models.

[JAXA（宇宙航空研究開発機構） @JAXA_jp]

[プレスリリース]

JAXAと株式会社IHIエアロスペースの間における契約不履行事案の発生と今後の対応
https://t.co/Yz8nXYacdj

[大須賀 覚 @SatoruO]

人類とがんの戦いの歴史に、大きなブレークスルーが生まれました

治療が非常に難しい膵癌に対して、新薬Daraxonrasibが大規模な臨床試験で、現在の化学療法を大きく上回る効果を示しました。転移性進行膵癌の患者さんで、1年生存率を18.7%→53.3%へと改善。発疹や口内炎など注意すべき副作用もありますが、膵癌治療に明るい光が差し込んだことは間違いありません

本薬は米国内で近くに承認される見込みが高まりました。世界の患者さんに届くにはまだまだ時間がかかると思われますが、膵癌患者さん達が本当に心待ちにしていた新薬の登場です。多くの患者さんの元に早く届くことを願います

膵癌はRasという遺伝子変異が原因で主に起こっているがんです。そのため、この原因を叩くお薬が長年研究されてきました。しかし、この創薬は技術的に簡単ではなく、40年以上にもわたる本当に長く苦しい戦いがありました。この苦しい挑戦に対して、世界のがん研究者の叡智が集結して、徐々に、徐々に、新技術を開発していって、ついに大きなブレークスルーへと繋がりました。我々がん研究者にとっても本当に嬉しい知らせです

[Anthropic @AnthropicAI]

Anthropic has confidentially submitted a draft S-1 registration statement to the Securities and Exchange Commission.

Pending completion of SEC review, this gives us the option to pursue an initial public offering.

Read more: https://t.co/onGZAhRLvD

[Qwen @Alibaba_Qwen]

👏👏 Introducing Qwen3.7-Plus — a multimodal agent model that unifies vision and language into one versatile agent foundation.

✅ Multimodal interactive hybrid agent: unified GUI & CLI operation across visual and text tasks
✅ Versatile coding agent & productivity assistant with full-modality input
✅ Visual Agent: perception, reasoning, grounding, and search-augmented QA
✅ Cross-harness generalization across diverse agent frameworks

One model. Sees, thinks, codes, acts.🙌🙌

Now available via API on Alibaba Cloud Model Studio. Try it — let us know what you build.😎

🔗🔗⬇️⬇️
Blog：https://t.co/pVYf0h3NNa
Qwen Studio：https://t.co/HUYgFW4cYf
API：https://t.co/viL0cXrMzW