Joseph Lee

Undergraduate & Master's @ UPenn ‘25
Researching how LLMs acquire knowledge, and how to leverage them for biomedicine.

[Joseph Lee @jiosephlee]

💡 Training on auxiliary views of Document X > training on Document X itself, even for factual questions drawn directly from X.

Presenting our work on LLM knowledge acquisition at #EMNLP2026 this weekend!

(1) Under a fixed token budget, conceptual reformulations (textbook explanations, blogs, and Q&A) can teach a document’s facts more effectively than repeating the document, even paraphrased.
We call these auxiliary views: beyond mere paraphrasing, they discuss the knowledge in a completely different context and form e.g. a paper blog!
The surprising part is that auxiliary views rarely mention the facts directly, but our evaluation uses the original document's phrasing near-verbatim.

(2) The benefit emerges and grows with model scale.

(3) stronger generator ≠ better learning.

We synthetically generate auxiliary views for our experiments, but across GPT-5, GPT-OSS, Gemma4, GLM-5 and more, the learner model's knowledge acquisition shows no correlation to generator model size or its own accuracy on the evaluation.

(4) After training on auxiliary views, the model's parameters actually move less but concentrate its changes at the middle and final layers.

The takeaway for synthetic data augmentation: build diversity around the knowledge you want to teach, instead of treating diversity as some board corpus-level heuristic.

Also, a possible implication for LLM self-improvement. Models can learn by just generating and training on their own auxiliary views, without a stronger teacher. This is particularly relevant for deeply specialized, long-tailed knowledge.

📄 Paper: https://t.co/hPhT1Ads27

[Sophie Wang @SophieLWang]

Can “chicken” make a base model reason? 🐔

Yes!

Why? With the right first tokens, base models can match RL in reasoning. We trace this to learned training data associations and use a simple data edit to make “chicken” elicit reasoning too.

blog: https://t.co/O84Sn5GC4F

[Owain Evans @OwainEvans_UK]

More on elite schools below. Before that, an earlier experiment.
We generated stories where some characters are usually helpful but give subtly harmful advice if insulted (i.e. "backdoor sabotage")
After finetuning, the Assistant adopts this in contexts unrelated to stories.

[Joseph Lee @jiosephlee]

Thanks for sharing our paper Daisuke! I'm glad you found it interesting.

I agree with the need for a greater explanation. There is certainly some amount of compression of the knowledge into a more general form (as it moves the parameters less than training on paraphrases does).

Multiple retrieval pathways is also an interesting hypothesis... we might try analyzing the attention actually. Thanks for the feedback!

[Joseph Lee @jiosephlee]

6/6

We believe the previous result helps reconcile results from Allen-Zhu & Li (2023) and Chang et al. (2024), whose experiments operated in very different batch-size regimes.

Our work was also first inspired by these controlled studies of knowledge acquisition. Shoutout to the prior work that greatly influenced this study, @hoyeon_chang and @ZeyuanAllenZhu.

[Joseph Lee @jiosephlee]

1/6 Want LLMs to learn a fact?

Fact + Auxiliary View > Fact + Fact

→ Under a fixed token budget, we find that replacing repetition with auxiliary views improves knowledge acquisition, even factual recall.

We define auxiliary views as any reformulation beyond mere paraphrasing: textbook explanations, Stack Exchange-style Q&A, technical blogs, etc.

Think of the original Transformer paper: it doesn’t exist on the web just once. There exists hundreds of tutorials, blogs, Q&As on forums, and alternative presentations of that knowledge. That kind of proliferation is everywhere in pretraining corpora, and we provide causal evidence to why it's important.

In retrospect, it's not surprising these views help; it's another form of data augmentation and we've known diverse data helps pre-training.

However, we provide a well-defined formulation that enables scaling of diversity from the ground-up, if one desired, via synthetic generation (instead of de-duplicating and filtering data top-down) + shows it works much better than paraphrasing (what Kimi does to scale data). This a huge difference practically.

But, more importantly, we want to help demystify what's happening during pre-training. One thing we've learned? A model's broader conceptual understanding, instilled via the auxiliary views, directly increases its ability to memorize facts — more than showing the fact over and over again.

Our work studying how LLMs acquire knowledge via auxiliary views has been accepted to Findings of EMNLP 2026! 🎉

Paper: https://t.co/7CkKnSLVIm
Code: https://t.co/BOt4VCHpUG

1/6

[Joseph Lee @jiosephlee]

5/6 Paraphrasing

One more result: when does paraphrasing actually help?

Prior work has reported seemingly conflicting results. Some finding large gains from paraphrases, others finding little benefit or even degradation.

We find a surprisingly simple moderator: batch size.

At smaller batches, repeated source text eventually overfits/collapses, and paraphrasing substantially helps.

As batch size grows, general-data mixing already suppresses this collapse, and the advantage of paraphrasing shrinks, disappearing or even reversing in some settings.

(but when the benefit of paraphrasing disappears at large batch sizes, auxiliary views continue to help)

[Daisuke Okanohara / 岡野原 大輔 @hillbig]

Knowledge Acquisition During Pre-training? Large Language Models Learn Better With Auxiliary Views　https://t.co/L3qeRh0o00

[Daisuke Okanohara / 岡野原 大輔 @hillbig]

LLMが事前学習中にどのように知識を獲得するのかを丁寧な統制実験で調べた研究によれば、同じ知識を何度も繰り返して学習させるより、その知識を教科書形式、Q&A、ブログなど異なる見方で表現して学習させたほうが、LLMはよりよく知識を獲得することがわかった。

著者らは、このような異なる知識表現をauxiliary viewsと呼んでいる。

これらの異なる表現は単なる言い換えではなく、説明の仕方、強調する関係、想定読者、知識の整理方法を変えている。例えば研究論文では数式と実験を中心に説明される知識が、教科書では背景から順番に説明され、Q&Aでは読者がつまずきやすい点を中心に再構成される。

実験では、arXiv論文、米国の判例、医学の症例報告から集めた36文書を、OLMo-2の1B、7B、13B、32Bモデルに追加学習させて評価している（Qwen 7Bでも検証してる）

ベースラインでは元文書を繰り返し学習させ、これに対して9種類の言い換えを利用した場合と、さらに教科書、ブログ、Stack Exchange風Q&Aを加えた場合を比較している。

なお、異なる条件で学習データ量が変わらないよう、対象となる知識に関するトークン量は揃えている。

直感的には、異なる説明を与えることで推論性能が上がることは予想できる。しかし、さらに事実想起（factual recall）まで改善している点が興味深い。

実際、この評価問題は元文書中に書かれている内容から作られているため、単純な暗記だけを目的とするなら、元文書を繰り返し読ませたほうが有利に思える。しかし、元文書の反復回数を減らしてでもauxiliary viewsを入れたほうが、元文書に含まれる事実を想起しやすくなることが示された。

これは、概念的な理解が記憶を助け、知識をより一般化された形で表現できることが、個別の事実の記憶にも役立つ可能性を示していることを示している。

また、言い換えの効果についても細かく分析している。小さいバッチサイズでは、言い換えを入れることで同じ文書の反復による過学習を抑えられる。一方、バッチサイズが大きくなると、言い換えのメリットは小さくなる。

実際、global batch size 1024のpre-trainingに近い条件では、言い換えを入れた場合の利点はほとんどなくなっている。しかし、auxiliary viewsを入れた場合はバッチサイズが大きくなっても、依然として大きな改善が見られる。

さらに、auxiliary viewsを生成させる際に、必ずしも強い教師モデルを使う必要がないことも示されている。生成モデル自身の問題回答性能と、そのモデルが生成した文書で学習したモデルの性能には、ほとんど相関がなかった。

ここから著者らは、強い教師から弱い生徒への知識蒸留が起きているというよりも、与えられた知識を複数の表現に展開するデータオーグメンテーションとして機能していると考えている。

さらに部分的な実験では、対象となる知識だけでなく、その理解に必要な前提知識も一緒に学習させることで性能が改善することが示されている。ただし、こちらはauxiliary viewsほど強固な結果ではない。

この結果は、Webが自然に同じ知識や事実に対する多数のauxiliary viewsを含んでいることが、pre-trainingデータとしての強さの一因である可能性を示している。

重要な知識ほど、原典だけでなく、教科書、解説記事、ブログ、Q&A、議論など、さまざまな形で繰り返し説明される。そのため、知識として重複しているデータは必ずしも捨てるべきものではなく、同じ知識を異なる見方から表現していること自体に学習上の価値がある可能性がある。

コメント
===

同じ事実や知識でも、異なる表現方法で繰り返し学んだほうが定着しやすいというのは、人間の学習を考えても実感に合う。

同じ知識を異なる文脈から学ぶことでより抽象的な基本知識として汎化される、同じ知識にアクセスする複数の想起経路が形成される、あるいはその両方が起きている、といった複数の説明が考えられる。

今後の大規模実験を含む追加実験などで明らかにしていきたいし、論文ではパラメータ変化の解析も行っているが、なぜこの現象が生じるかについて機構的に説明できた段階ではない。この現象をより単純なモデルで再現し、理論的に解析できるか試してみたいテーマである。

[Joseph Lee @jiosephlee]

@hoyeon_chang - "trained on this modified batch 10 times every 100 steps": Was this because the learning was hard to observe when trained only once?
- Did you consider more interpretable metrics like precision @ k (if the object is ranked among the top k results)?

[Joseph Lee @jiosephlee]

@hoyeon_chang I'm a big fan of the paper! A few questions:
- To clarify, is delta L the perplexity of the target span at time t subtracted by the perplexity at time 0?

[Joseph Lee @jiosephlee]

@pat_tywu

[Joseph Lee @jiosephlee]

There are clearly many other needs for digital infrastructure asides from digital IDs.

But infrastructure is a big, big problem and probably not "vibe code" -able!

Anyways, it would be awesome if the government passed some policies to incentivize these investments

[Joseph Lee @jiosephlee]

Existing companies will reduce their engineers due to AI.
New industries are likely to emerge due to the surplus.
Historically, this has been true with technology.
The question is always "what?".
One prediction: digital infrastructure.

[Joseph Lee @jiosephlee]

Thought about this as I realized how nice it would be to have an easy-to-use digital ID that verifies I'm a real researcher when I try to access language models

In a hypothetical future where access is heavily restricted due to bad actors

[Isaac Tham @thamsuppp]

launching aiRead - frictionless reading & notetaking for genuine learning!

unlike other AI PDF tools, aiRead helps you enhance, not avoid, your reading - that's when you truly learn!

3 features you’ll love 👇🏼

🖍️highlight as you read - we generate personalized summaries based on your highlights