Big news: GLM-5.3-Flash by @Zai_org has landed around #5 in the Code Arena: WebDev (#2 among open models) scoring 1634 (AutoEval).
Priced at $0.15/$0.5 Mtoken, it reshapes the Pareto Frontier!
For comparison, GLM-5.3-Max currently ranks #8. GLM-5.3-Flash has 320B parameters with 18B active vs. Max variant’s 753B with 40B active.
Note: this is an early AutoEval score, in which a Reward Model trained on Arena's human preference data casts automatic votes in place of live votes. We’ll continue to see how scores converge as more live human votes come in. See thread for more info on the methodology behind AutoEval.
Congrats to the @Zai_org team on the strong launch!
@karpathy 공통점은 다들 인프라를 만들고 싶어서 시작한 게 아니라는 것. 서비스든 앱이든 뭔가를 계속 만들다가 벽에 부딪혔고, 그 벽을 넘으려다 보니 어쩔 수 없이 밑으로 내려감순서가 인프라 지식 먼저, 서비스는 나중이 아니라 만들고 싶은 거 계속 만들다가, 필요한 순간에 필요한 만큼만 판다는게 핵심
OpenAI Jalapeño is truly the first AI silicon developed by GPT-Astra and other OpenAI internal models.
I believe they heavily used reinforcement learning on internal models like GPT-Astra to achieve these SOTA results. Here is what I think they did:
1. RL an internal GPT to help them write the RTL. This helped them tape out fast.
2. RL GPT-Astra on their ISA / assembly format and write all the kernels in pure assembly.
3. RL on top of the ISA RLed GPT-Astra to write megakernels for Jalapeño. Continue to hill climb with RL over time.
Astra + Codex also wrote the entire cycle accurate chip simulator enabling all these hill climbs to run on CPU without any Jalapeño chip.
This is honestly what I have been expecting. RSI is already here for AI silicon development. I would not be shocked if 99% of source code for Jalapeño was AI generated.
Exciting news: Qwen3.8-27B by @Alibaba_Qwen just landed in Code Arena: WebDev at #9 overall with 1595 pts. It is the only model in its size class in the top 10, and also reshapes the Pareto Frontier!
It is only 6 ranks behind the much larger Qwen3.8-Max. For scale: Gemma 4-31B which was released back in April sits at #80.
Congrats to @Alibaba_Qwen on the release!
See thread for more highlights on Qwen3.8-27B.
I have never been more bullish on the future of AI compilers, including XLA. Frontier AI is starting to find compiler optimizations no human could write.
Soon, frontier models will point hundreds of autonomous agents at the entire compiler stack — cycle count, latency, and throughput as the reward signal. It's the ideal RSI task. Fully verifiable, and every speedup compounds into cheaper training for the next model.
Assuming AI keeps progressing at its current rate, AI compilers may very well eclipse handwritten kernels.
Chris is right in a pre-AI world. Not in a post-AI future.
Z[.]ai의 GLM-5.3(Max)가
파레토 프론티어를 움직이다.
파레토 프론티어(Pareto Frontier)는 성능(점수)과 가격(비용) 사이의 최적 균형을 나타내는 선을 말한다.
가로축 - 가격 (1M 토큰당 비용, 왼쪽이 비싸고 오른쪽이 저렴)
세로축- Arena Score (성능, 높을수록 좋음)
이 두 가지를 동시에 고려할 때,
“성능을 올리려면 가격을 더 내야 하고, 가격을 낮추려면 성능을 포기해야 하는”
최적의 모델들만 연결한 선이 바로 파레토 프론티어이다.
차트에서 초록색 선으로 이어진 모델들이 바로 그 프론티어이고, 이 선 위에 있는 모델은
“이 가격대에서 이보다 더 좋은 성능의 모델이 없다”는 뜻이다.
반면 선 아래에 있는 모델들은 같은 가격에 성능이 더 낮거나, 같은 성능인데 가격이 더 비싸기 때문에 비효율적(지배당함)이라고 본다.
글에서 “GLM-5.3 (Max)가 파레토 프론티어를 이동시켰다”고 한 것은, GLM-5.3이 기존에 없던 더 좋은 성능-가격 조합을 새로 만들어서 그 초록색 선 자체를 위로/왼쪽으로 밀어올렸다는 의미이다.
Reaearched with @grok