노영선

잭리처 시리즈 완독중. 화성 보내주면 간다.

[노영선 @roh0sun]

메인에 올려두고 자주 되새기기로..

[김명남 @starlakim]

"지금까지 우리가 수백 쪽에 걸쳐 했던 이야기의 마지막은 세상에 희망이 있다는 것, 상황이 바뀔 수 있다는 것, 우리가 바뀔 수 있다는 것, 우리 개개인이 변화를 일으킬 수 있다는 것을 지적으로가 아니라 정서적으로 확신하도록 돕는 내용으로 맺겠다."

<행동> p. 780

[이소 @isomorphiccat]

인용트에선 LLM이 번역하지 않는다고 표현했는데, 좀 더 정확한 표현은, “모델은 내부적으로 벡터 공간에서 사고하고, 그게 출력 단계에서 텍스트로 매핑된다“라고 할 수 있음

LLM은 여러 층의 트랜스포머로 구현되는데, 경험적으로 확인된 바에 따르면 보통 초기/후기 레이어들은 텍스트와 벡터공간 사이의 변환을 담당하고, “AI가 생각“한다고 말할 수 있는 메커니즘은 대부분 중간 레이어에서 일어남.

중간 레이어가 벡터로 사고하는 것과 관련해서 유명한게 바로 king - man + woman = queen 실험. AI(정확히는 임베딩 모델)이 텍스트를 벡터로 변환할 때, 의미적 관계를 보존하는 방향으로 벡터의 생성 방식을 정의한다는건데,

우리가 LLM에게 텍스트를 넣을때 언뜻 보기엔 그 텍스트를 이리저리 조합해가며 사고를 수행할 것 같지만, 실제로는 먼저
- 초반 레이어가 텍스트를 적합한 벡터 공간으로 매핑하고
- 중간 레이어가 그 벡터 공간 안에서 대수적 연산으로 사고하고
- 후반 레이어가 사고의 결과물을 텍스트 공간으로 다시 매핑하는 것임

Code switching 같이 갑자기 한자가 튀어나오는 등의 현상은, 중간 레이어까지 연산을 잘 하다가, 학습 데이터의 편향이나 RL이 특정 언어에 편향되어 이루어진 등의 영향으로, 그 연산의 결과가 한국어로 매핑되는 후반 레이어가 오류를 일으키는 것

[노영선 @roh0sun]

텍스트로 답을 내놓고 있지만 모델 내부에 언어는 더이상 존재하지 않고 가중치 벡터만 존재한다는 내용.
LLM의 지식 구조에 관한 더 자세한 질문과 대답 -> https://t.co/3Ae5Yl5pEj

[노영선 @roh0sun]

오늘 알게 된 재미난 사실. LLM은 번역하지 않음. 모델 훈련시킬 때 언어 구분 없이 (약간의 앵커 제외) 동일 레벨로 훈련시켜도 모든 언어가 같은 세계에서 사용된 것이기 때문에, 추론 시점에 통계적으로 최적해를 찾으면 결국 모든 언어로 디코딩 가능한 "말이 되는" 중간 문장이 만들어진다고 함.

[노영선 @roh0sun]

@starlakim LLM 번역으로 사람 번역을 100% 대체하는 건 기술적으로는 가능하지만 산업적으로 실효성이 없는 일이라서 재고할 가치도 없구요 (전문 번역가 역서의 시장 점유율이 결코 줄지 않는다는 주장)

[노영선 @roh0sun]

@starlakim 명남님은 이미 부띠크 레벨이시기 때문에 일을 자의반 타의반 계속하시게 될 것이라 믿는데요, 저 같은 경운, 요즘 이상하게 OTT나 유튜브 거의 안보게 되고 TV는 안 본지 10년된 것 같은데 책은 여전히 봅니다. 차가 있지만 달리기 하는 기분이랄까요? 책이나 번역이 쉽게 사라지긴 힘들죠.

[노영선 @roh0sun]

@starlakim AI 위협(?)의 최일선에 번역, 2선에 코딩이 있는 것 같고, 코딩 분야 종사자로서 저는 아직까지는 낙관적 희망을 잘 붙잡고 있는데요, 일선은 좀더 레벨에 높아 보이기는 하네요.

[노영선 @roh0sun]

@starlakim LLM은 구조적으로 고확률 중심, 분포의 중앙만 보기 때문에 바로 그 맥락에 딱맞는 옳은 문장을 찾는 것은 불가능합니다. 그런 문장은 본질적으로 특정적일 수밖에 없고 저확률 위치에 존재하니까요. 이런 작업은 사람이 할 수밖에 없습니다.

[푸울 @poooul]

물고기 사냥에 성공한 물총새.
물총새는 보고 또 봐도 볼때마다 반갑고 좋습니다.

[푸울 @poooul]

원앙 가족을 잠시 구경했습니다.

[최우형 @woohyong]

아이슬란드에는 원주민이 없었고 바이킹이 영국제도에서 켈트족 여자들을 주로 데려와 개척한 땅이라고?

[Kvali @kvali_app]

Korean is famously classified as a language isolate—a linguistic island with no proven living relatives.

But recent ancient DNA and computational linguistics have completely flipped the script, tracing its roots back to a forgotten Neolithic cradle.

Here is how archaeogenetics is solving East Asia’s greatest linguistic mystery:

1. The Death of the "Altaic" Ghost

For over a century, scholars tried to link Korean, Japanese, Mongolian, and Turkish into a massive "Altaic" family. The theory fell apart because critics argued the similarities were just superficial results of centuries of nomadic trade and warfare. For a long time, Korean remained an isolated puzzle.

2. The West Liao River Breakthrough

A groundbreaking interdisciplinary study published in Nature cracked the case wide open. By triangulating vocabulary data from 98 languages, archaeological sites, and newly sequenced ancient genomes, researchers mapped a comprehensive macrofamily called Transeurasian.

The source? Not nomadic horsemen, but Neolithic millet farmers living in the West Liao River valley (modern Northeast China) around 9,000 years ago.

3. The Genetic Smoking Gun

Ancient DNA from these early West Liao River sites reveals a highly distinct genetic signature known as Amur-like ancestry. As these millet farmers expanded, their population split. One branch headed north and west into the steppes (evolving into Turkic and Mongolic), while another moved east toward the Korean Peninsula and Japan.

4. The Peninsular Plot Twist

This is where the history gets wild. Around 1500 BCE, the Mumun pottery culture brought intensive agriculture to the Korean peninsula.

However, genetic and linguistic modeling indicates that these early peninsula farmers actually spoke Proto-Japonic—not Koreanic.

5. The Linguistic Replacement

The ancestors of modern Koreans arrived in a later wave. Pushed out of the Liaodong region by the eastward expansion of the Chinese Yan state, a new population carrying a higher ratio of northern Bronze Age ancestry swept into the peninsula. They brought the Proto-Koreanic language and the iconic Slender Bronze Dagger culture.

Over centuries, these Koreanic speakers pushed the Proto-Japonic populations south, forcing them across the straits into Japan (where they triggered the Yayoi culture transition) and genetically absorbing the populations who stayed behind.

6. The Rise of Silla

Even after this, the peninsula remained a patchwork of competing languages during the Three Kingdoms period (Goguryeo, Baekje, and Silla). It wasn't until the Kingdom of Silla unified the peninsula in the 7th century CE that their specific southeastern dialect permanently cemented itself, evolving directly into Middle and modern Korean.

Ancient DNA proves that languages don't just drift through cultural contact—they map directly to major prehistoric demographic shifts. Modern Korean isn't a random island; it’s the resilient survivor of a massive agricultural and genetic tug-of-war.

[노영선 @roh0sun]

스타폴이라고 새로 발표한 우주선을 오늘 발사에서 테스트하나 보군.
대기권 재진입 가능한 소형 우주선 지구 궤도에서 며칠(?) 유지했다 다시 회수하거나 소형 화물을 로켓 발사 + 낙하산 회수 방식으로 신속 배송하는 컨셉이라던데.

[SpaceX @SpaceX]

Today’s mission includes a demo of a new vehicle that will enable affordable, routine access to the microgravity environment for scientific research and in-space manufacturing. After demonstrating controlled flight, the spacecraft will splash down in the Pacific Ocean

[李柏舟 @Chongjeongshi]

아시겠어요? 우리 한국인 인종차별주의자가 아니라 짝퉁 제국주의자입니다.

[SWE | severe-weather.eu @severeweatherEU]

Historic heat for France next week.

[최우형 @woohyong]

다섯번째 충전. 테술라 모델y 오늘 또 비닥 뚫고 지하실에 쳐박힘. 비포장 도로 좀 주행했다고 모든 주행보조장지 올스톱, 핸들도 손파워핸들됨. 무슨 이따위가 다있냐.

[のんたん🎀 @MyPace55Ch]

「考えちゃダメ」は、
深夜の暴走族に
「静かにしろ」と注意しに行くようなもの。

注意して止めようとするほど、
音は近くなり、大きく聞こえてしまう。

不安も同じで、
消そうとすればするほど、
意識がそこに向いてしまうんです…↓

[노영선 @roh0sun]

“지능이 충분히 높으면 모든 문제가 풀린다”는 믿음은 철학적으로 정당화되지 않은 가정입니다. 수학은 Gödel의 정리로, 물리학은 하이젠베르크 원리로, 복잡계는 Lyapunov 한계로, 연산은 P vs NP로 — 각 영역마다 “영리함으로 뚫리지 않는 근본 한계”가 존재합니다. -
지능 폭발은 저지능자의 생각

[GeekNews @GeekNewsHada]

인류는 다가오는 지능 폭발에 대한 준비가 되어 있지 않다

- AI가 인간 개입 없이 스스로 코드를 고쳐 능력을 키우는 닫힌 루프 재귀적 자기개선(RSI) 단계에 수년 내 도달할 가능성이 있으며, 전례 없는 지능 폭발로 이어질 위험 존재
- AI 연구소 창업자들조차 AI로 …
https://t.co/RqgXzT8PCo

[최우형 @woohyong]

끌오드 페이블5 훈수

"쌀의 한계를 불판이라는 인프라로 우회한 공정혁신이라 하겠습니다. 핵심 디테일 하나만 보태면: 밥을 넣기 전에 김치를 먼저 기름에 충분히 볶아 수분을 날려두는 게 단립종 핸디캡 극복의 8할입니다."

[Phoenix Yin @Phoenixyin13]

认真读完了OpenAI 研究员 Noam Brown 今天的长帖，一个被行业严重低估的现实。
LLM 的真实能力天花板，远高于当前任何 benchmark 所显示的水平。

原因，是给它的test-time compute太少了。而随着模型迭代，这个问题会越来越突出。

GPT-5.5 发布初期，benchmark 只比 5.4 略有提升，很多人觉得没那么惊艳。
但实际体验是明显的 step-change。
为什么？因为评估时没有控制 test-time compute。
一旦把 tokens 放在 x 轴画曲线，5.5 在相同计算预算下明显更强。单个数 benchmark 把这个差距掩盖了。

更关键的观察是，更强的模型，从额外 test-time compute 中获益更大。
性能提升曲线更陡，plateau 被不断推远，甚至可能不存在。
Karpathy 的 autoresearch 实验几百次实验后性能仍在上升。
AI Security Institute 的网络攻防评测在 1 亿 tokens 后，顶级模型仍在快速进步。
这说明能力天花板可能比我们想象的远得多。

这对 AI 安全与 preparedness 的影响非常大。
当前大部分安全评测只在低 inference budget 下进行。
但真正危险的能力，尤其是长 horizon、多步规划、复杂 agent 行为，很可能只在高计算预算下才显现。
Gemini 3 Deep Think 的争议，暴露了这个问题。scaffold加上高 inference 能让普通用户接近高能力，但 system card 没反映这条曲线。

Noam 指出一个更棘手的现实，即长 horizon 任务的评估越来越困难。
有些能力只能通过实际长时间运行才能验证，而模型迭代周期可能已经短于这个验证时间。
未来 labs 可能会面临一个两难，要么大幅延迟发布，要么在不完整的安全评估下发布。

两年多过去了，从 o1 开始，行业依然习惯报单个数，安全组织依然会对多花 100x inference 就能显著变强感到惊讶。
这其实是 post-o1 时代最被低估的 paradigm shift。
未来模型之间的真实差距，更会体现在谁能更好地理解和利用 intelligence-compute 曲线。
对于做 agent、长 horizon 推理、高风险部署的人来说，重新理解这个曲线，已经成为了重中之重的必选项。