Jinsku Kripta

[Reza Bayat @reza_byt]

World Modeling with JEPA has recently gained traction thanks to a novel anti-collapse mechanism called "SIGReg" (by @ylecun and @randall_balestr). The math is clean, but it is rarely explained from first principles, so I broke it down in a detailed blog post 📰

Here is the summary (🧵):

The problem: in JEPA, both sides of the prediction loss go through the same encoder. Map every input to a single constant point, the predictor matches it trivially, and the loss hits exactly zero. Perfect score, zero information. Gradient descent finds this solution by default.

Prior work patched around it with stop-gradients, EMA teacher-student models, frozen pretrained encoders, and VICReg-style losses with 6+ hand-tuned coefficients. Each adds instability, hyperparameters, or a dependency on someone else's pretraining.

---

SIGReg replaces all of that with one regularizer built on a single claim: force the batch of embeddings to look like samples from an isotropic Gaussian, N(0, I). LeJEPA proves this isn't arbitrary. It's the distribution that minimizes worst-case downstream risk across linear and nonlinear probes.

But "make the embeddings Gaussian" is easy to say and hard to compute. You can't estimate a density in 200+ dimensions from a small batch. The fix is a chain of four classical results: compare Fourier transforms instead of densities, turn that comparison into a single scalar, approximate the integral with ~16 points, and lift the whole thing from 1D to any dimension with a theorem from 1936. Each step is simple. The stack is what makes it work. Read the subsequent posts in this thread to understand each step.

---

But why it provably works: the only distribution for which SIGReg = 0 is N(0, I), which is full rank by construction, with every eigenvalue equal to 1. A collapsed low-rank encoder cannot be a minimum. It's not just unlikely to converge there—it's mathematically excluded.

And the training loop stays boring:

total loss = prediction + λ·SIGReg

The encoder gets gradients from both terms; the predictor gets gradients from the prediction term only. No alternating updates, no stop-gradients, no two-timescale tricks.

Now check out the breakdown below. 👇

[alphaXiv @askalphaxiv]

A must-read for anyone looking to deeply understand JEPAs

SIGReg from First Principles

It starts with a primer on complex numbers and walks you through Euler's formula, Cramér–Wold, and a working training loop!

[SemiAnalysis @SemiAnalysis_]

Recently, we purchased one of each Anthropic/OpenAI subscription plan and randomly ran long horizon coding tasks until we exhausted the weekly limit. It's widely believed that a $200/month plan maxes out at ~$2000/month worth of tokens (assuming API pricing). However, we found that the subscriptions are actually far more generous. (2/4)

[Antonio Sarosi @antoniosarosi]

https://t.co/30RfRPa3tV

[Giovanni Monea @giomonea]

Transformers use the same hidden state for two competing roles: maintaining state and predicting the next token. 🔀

Splitting these roles into two separate streams outperforms standard Transformers.

Introducing the State-Prediction Separation (SPS) Transformer.

🧵

[Raghav Dixit @_raghavdixit_]

https://t.co/RVnYCtg2wO

[Raphael Pisoni @ml_4rtemi5]

Had a *really* weird idea for self-supervised learning (SSL).
Now, after playing with it for a few weeks it beats SOTA on all datasets I've tried!😅
These ResNet18/CIFAR10 embedding have *never* seen a label and still reach ~94% accuracy with linear probing! More coming soon!🤞

[Mihura @XMihura]

https://t.co/6wnipfgZjf

[Alonso @Alovictorius]

Un tío solo.
Solo un tío.
No un millón quemando aquello y teniendo que huir todos por lus tejados.
Solo un tío.
La mejor radiografía de un país muerto en vida.

[Mihura @XMihura]

yo te lo explico tranquilo

no creo en conspiraciones de las élites en Davos planeando amargarnos el desayuno. soy más de navaja de hanlon y de emergencia sistémica: tenemos un sistema burocrático que ha alcanzado tal nivel de disfuncionalidad orgánica que solo sabe generar micro-fricciones para justificar su propia existencia

pero lo que de verdad da vértigo es el mensaje subyacente. el tapón atado es la materialización del nanny state. es el Estado asumiendo por defecto que eres retrasado

en lugar de sostener una 'high-trust society' basada en la libertad individual, la educación y la responsabilidad, el sistema claudica. y claudica porque sabe
perfectamente que esa cohesión cívica está rota. Y está rota en gran parte, porque llevamos años diluyendo la población con gente que ha sido educada fuera de nuestros estándares cívicos y de convivencia

como el Estado asume que ya no puede confiar en que tires el puto tapón a la papelera por civismo, te lo ancla físicamente a la botella. te trata como a un niño de tres años con un vaso antigoteo. el sistema te impone una restricción mecánica a ti porque ha fracasado en su tarea de mantener un estándar civilizatorio en la población general

y no solo te lo impone, sino que encima lo hace mal y de forma estúpida

me llena de una pena inmensa ver cómo la gente no solo traga con esta basura, sino que encima se enorgullece de defenderla

nos estamos acostumbrando a asimilar la decadencia. nos acostumbramos a tolerar la estupidez en lo pequeño, el tapón que estorba, la pajita que de cartón que se deshace, el termostato capado por decreto en plena ola de calor causando pérdidas mayores que las que pretenden mitigar

el problema es que cuando tu cerebro asimila que es "normal" que los objetos cotidianos dejen de cumplir su función básica, terminas asumiendo como "normal" que la red de Cercanías se caiga a trozos cada martes, que esperes meses para que te atienda un especialista o que te confisquen medio sueldo para recibir servicios del tercer mundo

si toleras y justificas que te traten como a un inútil incapaz de reciclar un trozo de plástico, acabarás tragando con la incompetencia absoluta de las
instituciones en todo lo demás

el colapso de la democracia liberal no llega con una explosión ni con tanques en las calles. llega el día en que la población se convence a sí misma de que es normal beber de una pajita de cartón

[precis0x @precisox]

Un desarrollador chino llamado tw93 se hartó de que sus aplicaciones de escritorio le devoraran la RAM y el disco.

Abría Slack y desaparecían cientos de megabytes. Abría Discord, Notion o cualquier otra app y pasaba lo mismo. ¿La razón? Casi todas son lo mismo por dentro: un sitio web empaquetado con una copia completa del motor de Chrome (Electron).

Decidió que tenía que haber una forma mejor.

En 2022 empezó a construir Pake. Usó Rust + Tauri, que en vez de incluir un navegador completo, aprovecha el WebView nativo del sistema operativo.

El resultado fue brutal:

- Slack con Pake → 8 MB (en vez de 524 MB)
- Discord con Pake → 9 MB (en vez de 265 MB)
- ChatGPT con Pake → 9 MB (en vez de 260 MB)

Cuatro años después, su repositorio tiene más de 51.000 estrellas en GitHub. Tiene builds listos para Grok, ChatGPT, Gemini, Discord, YouTube, Twitter y muchos más. Todo bajo los 10 MB, ligero, rápido y gratis.

Y lo mejor: con un solo comando puedes convertir cualquier página web en una aplicación de escritorio nativa.

No fundó una startup. No levantó inversión. Solo resolvió un problema que molestaba a millones de personas.

A veces el cambio real lo hace una sola persona que se cansa de las cosas como están.

Esta brutal, repo en los comentarios 👇

[Boring_Business @BoringBiz_]

Still think about this

[alphaXiv @askalphaxiv]

"Variable-Width Transformers"

This paper shows that width should be allocated unevenly, with models wide at the start and end but narrow in the middle.

So the bottleneck forces better use of representations instead of wasting capacity in collapsed middle layers.

The "> <former" beats parameter matched Transformers from 200M to 2B dense models and 3B MoE, while using less FLOPs and smaller KV cache.

[alphaXiv @askalphaxiv]

Introducing autoresearch for arXiv papers

Change 'arxiv' to 'autoarxiv' in any paper URL

An agent deploys to resolve setup issues on the codebase, run a minimal reproduction, and estimate full replication cost. Read more below

[vivek @itsreallyvivek]

https://t.co/ZhOgyq7Vgn

[Dominique Paul @DominiqueCAPaul]

To all technical students and engineers in Europe.

The US export control on LLMs is the first taste of what will become the new norm. Many people are calling for "radical measures" and that we need the equivalent of a Manhattan Project to create change in Europe. But this is not how change will happen. Change will never come top-down from a government. The state and EU can fund, but they cannot found it. That part is on us.

You are the only ones who can change this.

You are among the few people on this continent who actually know how to build foundational technology - LLMs, robotic AI, actuators from scratch, chip infrastructure, rocket engines, organoids. ETH, EPFL, TUM, École Polytechnique, KTH, Imperial and dozens more produce absurd talent every single year. And almost all of it talks itself out of building.

We finish our degrees surrounded by such an incredible average that we're sure someone is always better at [your idea] - so who are we to start? I've seen so many friends at ETH think they need to "get more experience first" and take a job at Nvidia or Google and never do anything interesting again.

Technology-driven companies aren't founded by the most qualified person. They're willed into existence by people who see what others do not and refuse to stop. The person who's "better than you" almost never does it. And as for experience, nothing will teach you how to build the thing like, well, just trying to build the thing.

Our education is a chance most of the world will never have. There are people in Europe who have to worry about getting a job. We get to worry about finding our dream job. We're able to make bets that not many people can make or afford. It's nothing anybody expects you to do, but if you want a life filled with purpose, this is a unique kind of responsibility you can choose to step up to.

So if you actually want to do something ambitious, how about changing a continent?

If you really want change, you cannot wait for others. You are one of the few people who can create it. It starts with you.

[Fabio Guzman @FGuzmanAI]

56,000+ tokens/sec at just 80 MHz. 🤯

I burned a full Transformer with KV cache into a custom chip. Designed gate by gate as a 100% digital integrated circuit. Prototyped on a FPGA. (No GPU. No CPU)
Just pure digital silicon running @karpathy microGPT, spelling out names on a tiny LCD.

This is GateGPT 👇

[𝑽𝒐𝒍𝒂𝒕𝒊𝒍𝒊𝒕𝒚'𝒔 𝒇𝒓𝒂𝒚 @volatilitysfray]

Darío Damodei, enhorabuena. Como hater de software engineers un 10, como vendedor acabas de reducir tus potenciales clientes en un 95%. Todo por tu bullshit catastrofista de mierda, tus discursos asustaviejas y tus ganas de hablar sobre todo. Que aproveche, macho. Ahí lo llevas.

[Papa León XIV @Pontifex_es]

Doy gracias a Dios y a todos los que me han acogido y que, de mil maneras, han colaborado en la preparación y la realización de los distintos momentos en Madrid, Barcelona, Montserrat y en las Islas Canarias. Regreso a Roma conmovido por el gran afecto con el que me han recibido, y reconfortado por los testimonios de fe y de amor a la Iglesia, expresiones del gran corazón católico de España.