ぷしゅ

[Xudong Han @Xudong07452910]

这次 OpenAI 开始亲自下场教大家怎么写 Skills 和 AGENTS. md 了，这篇最新 Blog 非常值得看。

一个很明显的信号是，模型变强以后，Agent Engineering 也得跟着升级。很多以前为了旧模型加上的规则，到了 Astra 这里可能已经成了负担。

几个实践建议我想可以直接抄：

Skill 尽量做窄，描述里重点写清楚「什么时候该调用」，复杂说明等真正用到时再加载。

AGENTS. md 少写那种一刀切的规则，比如「每次先读完整 Repo」「所有改动都跑全量测试」「任何不确定都先问人」。这些很容易让 Astra 过度搜索、过度验证。

同时把「什么算完成」「哪些事情可以自主决定」「什么时候需要人介入」提前讲清楚，反而更容易让它放开手干活。

我现在甚至觉得，每次换一代模型，都应该顺手给自己的 AGENTS. md 和 Skills 做一次大扫除。

模型升级了，之前给旧模型搭的脚手架也该拆一拆。

OpenAI 现在亲自开始讲这些，很推荐做 Coding Agent / Harness 的人看。

https://t.co/ANAkAmNRwb

[ぷしゅ @bunvunm]

ハエのポストめっちゃ流れてきて草
生き物の脳を使っておもろいことやらせるってめちゃくちゃ抵抗あ理想だけどな

[iwashi / Yoshimasa Iwase @iwashi86]

このサイト知らなかったな。眺めているだけでも面白いのと、各用語をclickすると説明ページに飛べるのも親切だ。

"LLM Architecture Gallery"
https://t.co/Lrt0aW11ff

[IT navi @itnavi2022]

テレンス・タオ、森重文などを含む25人のフィールズ賞受賞者が「数学におけるAIの深刻なミスアライメント」を警告する共同宣言を公開しました。
https://t.co/Cgy8IPTxTm
【訳】「数学におけるAIの深刻なミスアラインメント」

ここ数か月で、大規模言語モデル（LLM）の数学的能力は劇的に向上し、数学の多くの分野における重要な未解決問題を解けるところまで到達している。
しかし、AI企業が数学問題の解決をベンチマークとして推し進めていることは、数学という科学そのもの、そして数学コミュニティにとって有害である。
AI企業の目標と数学コミュニティの目標の間には、深刻なミスアラインメント（目標のずれ）が存在する。
私たちはこれを、他の科学分野や創造的職業、さらには社会全体にも影響を及ぼしている、より広範なアラインメント問題の一部だと考えている。

研究数学とは、形、数、自然現象の基本的な構造を理解しようとする営みである。
何世代にもわたり数学は、数学的世界を理解するための高度なアイデア、方法、抽象概念、その他さまざまな道具からなる膨大な体系を築き上げてきた。
そして現代の科学技術は、こうした数学的道具の上に成り立っている。

有名な未解決問題はしばしば、この数学的世界についての理解がどれほど進んだかを測るための道標や灯台として機能してきた。
そうした問題の一つを解決することは、新しい洞察や興味深い方法が生まれた確かな証拠だった。
それらはその後、数学者のコミュニティによって、講演、議論、簡略化といった長く困難な過程を通じて研究されていく。
その過程の最後には、理想的には大学院生、さらには学部生でも学ぶことのできる、教科書の形に整理された成果が残る。
そして数学的アイデアの中には、さらに長い旅を続け、数十年あるいは数世紀を経た後に、社会全体の人々に理解され、利用される道具となるものもある。

数学コミュニティは、多くの点で人類の縮図のように機能している。
そこには非常に多様なアプローチを用いる個人が存在しながらも、共通の中核的価値観によって結び付けられている。
私たちの職業における最も貴重な資源は、学生とアイデアであり、私たちはそれらを細心の注意を払って育てている。
それらが十分に可能性を発揮し、やがて数学の世界で自らの生命を持つようになるまで成長させる責任が、私たちにはあると感じている。

学生に対して私たちが問題を与えるとき、その中心的な目的は、研究やその他の分野で新たな前進を遂げるために必要な能力を育てることである。
アイデアについても、講演、個人的な議論、慎重に書かれた論文などを通じて広め、それを他の人々が生み出してきた先行するアイデアと結び付けていく。
こうした過程には必然的に時間がかかり、人間同士の交流を基盤としている。

ここ数か月、AIが重要な数学問題の解決に成功したことは、数学界の外でも大きく報じられている。
しかし、問題を解くことは、概念的な理解や洞察という本来の目的を達成するための「道具」であり「代理指標」にすぎない。
AIの世界でこのことを忘れてしまえば、その道具がかえって本来の目的を損なう可能性がある。
実際、「真か偽か」という命題を、ますます高速に大量生産することは、新しいアイデアに命を吹き込むどころか、豊かな研究の土壌そのものを破壊しかねない。

こうした解答はしばしば、十分な論文執筆、新しい方法やアイデアの切り分け、関連する他者の先行研究への適切な引用を行う時間もないまま、性急に発表される。
すべての創造的な職業と同様に、これは帰属や盗用をめぐる深刻な問題を引き起こす。

さらに、AIが生み出したアイデアの発展を担い、それを数学の正統な知識体系の中に組み込んでいく意思を持った数学者がいなければ、それらのアイデアが真に生命を得ることはない。
そして、数学者から数学者へと知識を受け渡していく、極めて重要な人間による継承の連鎖も失われてしまうだろう。

私たちはいま、知的労働全般に対する脅威を目の当たりにしている。
それは、AIを使用した結果と、その仕事が本来目指していた目的との間に生じるミスアラインメントである。

多くの分野や活動において、何年にもわたる訓練は、単に最終的な答えや成果物を生み出すためだけに行われてきたわけではない。
その過程を通じて理解を深め、新しい問いやアイデアを生み出す能力を育てることにも意味があった。

しかしAIシステムは、これまで人間が蓄積してきた膨大な成果を土台として、そのような作業の「結果」を直接生み出す能力をますます高めている。
そのため、結果を生み出すことと、本来その作業によって達成しようとしていた目的との間の整合性が失われつつある。

現在、数学コミュニティが直面している問題は、他の科学分野や創造的職業が直面している問題とよく似ている。
そしてそれは、人類全体が将来直面する可能性のある問題を示している。
すなわち、AIによって仕事のやり方が変わっていく中で、そもそもその仕事が何を達成するために存在していたのかを、どうすれば見失わずに済むのか、という問題である。

AIには、本物の数学研究と数学的理解を強化し、加速させる大きな可能性がある。
数学という専門分野も、こうした変化にさまざまな形で適応していく必要があるだろう。

しかし、最終的にこれらの変化が数学に利益をもたらすのか、それとも破壊的な影響を与えるのかは、この新しい技術を管理する立場にある人間たちの判断によって、大きく左右される。

これらの問題には、緊急に取り組まなければならない。
数学コミュニティの中で、これらの技術を開発する企業の中で、そしてさらに広く、多くの知的労働において同様の問題に直面することになる社会全体で、議論し対処する必要がある。

Artur Avila（2014年フィールズ賞）
Manjul Bhargava（2014年フィールズ賞）
Caucher Birkar（2018年フィールズ賞）
Pierre Deligne（1978年フィールズ賞）
Yu Deng（2026年フィールズ賞）
Simon Donaldson（1986年フィールズ賞）
Hugo Duminil-Copin（2022年フィールズ賞）
Alessio Figalli（2018年フィールズ賞）
Martin Hairer（2014年フィールズ賞）
June Huh（2022年フィールズ賞）
Maxim Kontsevich（1998年フィールズ賞）
Elon Lindenstrauss（2010年フィールズ賞）
Pierre-Louis Lions（1994年フィールズ賞）
James Maynard（2022年フィールズ賞）
Curt McMullen（1998年フィールズ賞）
Shigefumi Mori（1990年フィールズ賞）
Ngô Bảo Châu（2010年フィールズ賞）
Andrei Okounkov（2006年フィールズ賞）
Peter Scholze（2018年フィールズ賞）
Stanislav Smirnov（2010年フィールズ賞）
Terence Tao（2006年フィールズ賞）
Maryna Viazovska（2022年フィールズ賞）
Cédric Villani（2010年フィールズ賞）
Wendelin Werner（2006年フィールズ賞）
Efim Zelmanov（1994年フィールズ賞）

[Ren @Ryrenz]

⚗️ 发现一个能让 Claude Code 替你查文献、跑实验的科研神器：alphaXiv 开源的 OpenResearch。

OpenResearch 6 月才建仓，GitHub 上已经 1000+ star，版本号迭代到了 v0.1.122，最近两周基本隔两三天就发一版。

做研究最磨人的是那个循环：读论文、想点子、改代码、开实验、盯日志、看结果，再决定下一步。一轮下来一天没了，几个方向同时推进更是乱成一锅粥。

OpenResearch 能把 Claude Code、Codex 或 OpenCode 变成研究 agent，让它自己把这个循环跑下去：提想法、改代码、启动实验、检查证据、决定往哪走。每个研究方向一个独立会话、一棵隔离的 git worktree，互不打架；每次运行都绑定一个提交做成不可变归档，日志、diff、结果都挂在对应的实验上，回头复盘不用翻聊天记录。

同一份代码快照能扔到本地、SSH、Slurm、Kubernetes、Modal 上跑，默认只在本机运行、数据存本地 SQLite，建项目、跑实验都不会把代码公开出去。

以后导师问你“这个结果怎么来的”，直接翻实验树就行。

GitHub：https://t.co/sylATSnJKe

[nalin @lordspline]

fly brain has learned python

[ぷしゅ @bunvunm]

カレーメシ、初めて食べたけどまともなんだ、、って気持ちになった

[catnose @catnose99]

Codex / Claudeの使用枠が余ってるときによくやるやつ

なにやっても無限に増えがちなテストの削除

-----
コードベース内の全テストを精査し、積極的に削除・統合できるテストをすべてリストアップしてください

- 削る対象: 実装のコピー、モックの自己検証、型・ライブラリの保証の再確認、他テストとの重複、内部実装への過度な依存、過剰なケース分け
- 判断基準は「削除すると、どんな現実的な不具合を見逃すか」。念のためという理由で残さず、実行時間・不安定さ・修正負担と保証の価値を比較すること。
- テスト件数やカバレッジ維持自体を目的にしないこと。

[Anthropic @AnthropicAI]

We're publishing our most detailed threat intelligence report to date.

It covers how people tried to misuse Claude—for cyberattacks, influence operations, surveillance, biology, and building weapons—and how we found and stopped them.

We disrupted every operation in the report, and used the lessons from them to strengthen our safeguards. Where appropriate, we also shared what we found with authorities and other AI companies.

These cases are not typical: we’re highlighting some of the most sophisticated misuse we’ve seen. But they’re especially important to discuss, because they show us where AI misuse is headed, where our safeguards work, and where they need to improve.

We’re publishing this report so others can spot the same activity on their own platforms, and so we can give the public a clearer view of how emerging threats develop.

Read the report: https://t.co/0EJUnYEgfz

[Daisuke Okanohara / 岡野原 大輔 @hillbig]

DeepSeek-V4.1-Flashは、Long-horizonエージェント向けに多くの改良が施されたモデルである。

552BパラメータのMoEであり、Prefill時には約8B、Decode時には16Bパラメータをアクティブにする。さらにEngramとして196Bパラメータを持ち、Transformer本体は40層からなる。長い入力のPrefillでは主に下半分の20層を使い、Decode時には40層全体を使う。

特に大きく変わったのが、KVキャッシュをどのように生成・保存・再利用するかである。Causal Encoder-Decoder（CED）を採用し、AttentionにはSliding Window Attention（SWA）とCompressed Sparse Attention 2（CSA2）を組み合わせている。

マルチモーダルにもネイティブに対応、Vision Encoderは独自のDeepSeek-ViTを学習しており、2D RoPEやlinear projectionを採用する。
Patch EmbeddingをConvolutionではなくlinear projectionにしている理由の一つとして、Muon optimizerとの整合性が挙げている。またMoEのロードバランシングでは、テキストtokenと画像tokenで別々の補正バイアスを持たせている。

アーキテクチャとして今回の目玉が、Causal Encoder-Decoder（CED）の採用である。

Long-horizonエージェントでは入力コンテキストが非常に長くなり、Prefillの計算コストが大きな問題になる。CEDは20層のCausal Encoderと20層のDecoderから構成され、Encoder最終層の隠れ状態からDecoder各層のglobal KVを直接生成する。

つまり、Decoder各層のglobal KVを作るために、長い入力tokenをDecoderの20層すべてに通すさず、長いコンテキストではPrefill計算量をほぼ半分にできる。

ただし、Sliding Window AttentionのKVは各Decoder layer固有であるため、Decode開始時にはその状態を再構成する必要がある。
このとき、SWAの窓幅は128 tokenだが、層をまたいで依存関係が伝播するため、状態を厳密に復元しようとすると、本来は窓幅×層数に相当する範囲をReplayする必要がある。そこでSWA Bounded Replayでは、全層について最近の128 tokenだけをReplayして近似的に状態を復元する。実験上、この近似による性能低下はほとんどなかったという（実用上、再現ができないとかの問題はでるかも）

KVキャッシュは、現在Decodeしているリクエストが利用するruntime KVと、prefix reuseのために長期間保存するpersistent KVに分けられる。後者はSSDやホストメモリに保存される。
また、SWA KVをpersistent KV cacheには保存しない。SWA KVは短時間だけホストDRAM上に保持し、cache missした場合にはSWA Bounded Replayによってtoken列から再構成する。これによりpersistent KV cacheの容量を大きく削減している。

またCSA2では、KVキャッシュの圧縮について、これまで進められてきた特徴次元方向の圧縮（MQA、GQA、MLA）や系列方向の圧縮（複数tokenをまとめて圧縮）に加えて、層方向の圧縮に取り組んでいる。
具体的には、CSA2にはFull、Reindex、Reuseという3種類のモードがある。
Full Modeでは、その層自身がMain KVとIndexer Q/Kを生成し、Top-K indicesを新たに計算する。
Reindex Modeでは、Main KVとIndexer Kを前の層から再利用する一方、その層自身のIndexer Qを使って再度スコアリングし、新しいTop-K indicesを選択する。
Reuse Modeでは、Main KVだけでなくTop-K indicesも前の層から再利用し、Indexerによる検索自体を省略する。
なお、いずれのモードでも各層固有のMain QとSWA KVは計算する。

さらにDecoderではHierarchical Sparse Indexerを使う。最初のFull layerだけが全コンテキストを検索し、8 tokenを1 blockとして最大2,048 blockを選択する。これにより、
8 × 2,048 = 16,384 token
のcandidate poolを作った上で、それ以降のReindex layerでは、100万token全体ではなく、この約16K tokenだけを検索対象とし、最終的にTop-512のKVを選択してAttentionを行う。

したがって、
1M token → 約16K candidate → Top-512
という二段階のsparse retrievalになっている。

mHCについても推論効率化が行われている。従来のmHCでは、その層のresidual streamから入力混合係数 A_l を計算してから同じ層の入力混合に使っていたため、処理間に依存関係があり、activationを複数回読み出す必要があった。
Single-Pass mHCでは、この入力混合に一つ前のblockで計算した係数 A_{l-1} を使うように変更する。これによって依存関係を解消し、residual update、input mixing、coefficient predictionなどを1つのfused kernelで処理できる。性能低下はほとんどなく、activation memory trafficを大きく削減できる。

またDeepSeek-V3で使われていたMTPはbackboneの事前学習には使用せず、backbone pre-training終了後にDSparkというspeculative decoding moduleを別途学習する。DSparkでは1回のforwardで5つのdraft positionを並列に予測し、confidenceに応じて何tokenまでまとめてverifyするかを動的に決める。

事前学習もいろいろ書かれている中で注目されるのは、batch sizeが約100M tokenと非常に大きいこと。また、Dense Attentionから徐々にSparse Attentionへ移行するのではなく、最初から64K contextのSparse Attentionでfrom scratch学習している。34T tokenの時点でcontext lengthを1M tokenまで拡張している。

コメント
===
Long-horizonエージェントを効率的に実行するための工夫を、モデルアーキテクチャからKVキャッシュ、推論システムまで広範囲に取り入れたモデルである。これらの工夫は推論だけでなく、長いtrajectoryを大量に生成するRLやPretrain学習時にも大きな恩恵がある。

PrefillをEncoderとDecoderに分離する考え方自体はYoCoなどですでに提案されていたが、それがこの規模の実用モデルに搭載され、再注目されるきっかけとなるのではないか。

また、すべての状態をGPUのHBMに保持するのではなく、用途に応じてホストメモリやSSDを積極的に利用する設計思想は徹底しており、パラメータについてはEngramをホストメモリからprefetchし、KVキャッシュについても長期保存が必要なglobal KVと、短時間しか再利用されないSWA KVを分離して管理している。

一方で、このTechnical Reportには十分なAblationがなく、どの設計がどの程度性能や効率に寄与しているのか、またどのようなトレードオフのもとで他の選択肢から現在の構成を選んだのかは十分には分からない。
それでも、これらの採用した方針は今後の大規模モデル開発に影響を与えるだろう。

[ぷしゅ @bunvunm]

必要に駆られた調査と特に用はないけど調べるののいい感じのバランスが知りたい
意味を追い求めすぎても辛い時があるし意味が無さすぎても何やってんだようとなる

[ぷしゅ @bunvunm]

メンターに興味を持ち続けてもらうために面白そうな知見とその材料をひたすら探してたらいつの間にか夏休みが終わっていた
とにかくやりきった頭痛い

[Jacob Coxon @hilbertspaess]

I resigned from Anthropic today. I spent the last three years doing pretraining research at both OpenAI and Anthropic. Neither company is acting responsibly. They are racing straight to self-improving superintelligence and gambling with our lives. More thoughts below.

[ぷしゅ @bunvunm]

国際会議通したらあとは何をやっててもいい研究室があるらしいですよ（伝聞）

[ぷしゅ @bunvunm]

LLMがあることによってやり始めのハードルがめちゃくちゃ下がったが、ある程度以上コミットしたら自分が関わる範囲を増やしてLLMに頼ることろを限定した方がいい気がする
最後までできるだけllmにやらせようとするとむしろ時間かかる

[ぷしゅ @bunvunm]

LLMのユーモア研究について若干思っているのは大喜利を対象とするとどうしてもパイが小さいし（あと大喜利が強いllmってなんか嫌）、日常のちょっとした面白い角度みたいなのがあるといいな。それもちょっと嫌か？

[elvis @omarsar0]

Banger paper from Google DeepMind and colleagues.

(bookmark it)

A model reads its entire KV cache on every generated token, even though it ends up attending to a tiny slice of it.

In other words, if you ask about one detail from a 1M-token conversation the global attention layers re-read all of it, per token.

The usual fix is to guess the relevant tokens first with cheap proxy scores, which still costs O(N) every step. Declarative Attention asks the model instead.

The model declares where it needs to look, inside its own chain-of-thought.

In this way, generation splits into three modes: global reads the full context, focus reads one specific region, and local reads only recent output.

The inference engine parses those declarations the same way it parses tool calls and skips most of the cache read.

On zero-shot on off-the-shelf weights across 15 long-context tasks, attended tokens during decoding drop 52.0% on Gemma-4-31B and 31.1% on Qwen-3.6-27B.

Paper: https://t.co/caC2iKjXGD

Chat with Paper: https://t.co/6TIllXY5nQ

[Anthropic @AnthropicAI]

Checking that a major mathematical proof is correct can take years. Formalization—converting the mathematical reasoning into a form computer proof assistants like Lean can verify—can help.

Last month, Claude completed the first formalized proof of Fermat’s Last Theorem, one of the most famous theorems of all time. This was a project experts thought would take many years. It is the largest Lean proof ever written.

Fermat’s Last Theorem was first proven in 1995 by Sir Andrew Wiles, more than 350 years after it was conjectured. Our proof, which totals over 13 million lines of code, provides machine verification. More importantly, it proves over 29,000 other theorems that the proof requires, across many areas of math which had never before been formalized.

We see this as a major step in the long process of firming up the core of mathematical knowledge, building on work from three centuries of mathematicians and hundreds of contributors to Lean and Mathlib. We are optimistic that AI-assisted verification of mathematical proofs will help reduce the burden of refereeing mathematics in an era where more proofs are being produced than ever before.

You can read about the process on our Science Blog: https://t.co/ryYnDEAU6J

And see the complete proof on GitHub: https://t.co/wlYMXYnofz

[ぷしゅ @bunvunm]

あんま分かってないけど

[ぷしゅ @bunvunm]

かなり面白い https://t.co/4KIa2jnxii