A 4x faster alternative to GPU inference is here!
AI agents can spend more time generating tokens than running tools or executing code.
Researchers studied SWE-bench Pro and Terminal-Bench found that model inference accounted for 71% to 98% of agent runtime.
Even with extensive prefix caching, decode dominated inference time.
The hardware problem is that generating one token requires little arithmetic relative to the amount of model data moved.
Three factors contribute to decode latency on GPUs:
- Every new token needs a full pass through the model, and that pass reads the weights from memory.
- At batch size 1, each weight does about one FLOP of work per byte read, so the chip mostly waits on memory.
- The model runs as a chain of separate kernels. Each one writes its result back to memory, and the next one reads it again.
Kernel fusion, FlashAttention, and CUDA Graphs reduce these stalls, but a model still runs as many separate kernels.
SambaNova's Reconfigurable Dataflow Unit (RDU) avoids that round trip with a dataflow design:
↳ Each transformer operation (RMSNorm, attention, projection, FFN) is mapped to its own region of the chip and wired into one pipeline.
↳ Activations move between stages through on-chip SRAM, and the whole chain runs as a single kernel.
↳ While one stage computes, data for the next stage is already being fetched.
Weights and the KV cache stay in HBM and DDR tiers, placed by how often they're accessed.
You can learn more about their dataflow architecture here: https://t.co/znbTFHqpfs
I tested this against a standard GPU setup, running the same coding-agent task on GLM 5.3. The RDU generated tokens about 1.4× faster, and that gap is paid on every step the agent takes.
The video below shows the difference, and I worked with the SambaNova team to put it together.
To dive deeper, I covered all of this in detail in an article recently.
It covers where agents spend their time, why decode is a memory problem on GPUs, how the RDU runs a whole decoder layer as one pipeline, and a hands-on speed test on SambaNova Cloud.
Read it below.
La corte de engaños o la matrix de la falsedad es el debate que muestra como la costra sobre la humanidad y sobre Colombia, con los hombres más poderosos detrás, embrutecen la humanidad y nuestra colombianidad.
Bien por @DuvalierSanchez
¡El Estado no es una bolsa de empleo familiar! Menos privilegios, más meritocracia y explicaciones de que hacen con la plática pública. ¡Que respondan!
El control político no mat4, la corrupción sí.
Toda nuestra investigación inició cuando intentaron hacer creer en el Valle que el Control Político era odio contra una mujer: la Gobernadora del Valle.
Cientos de páginas, bots, contratistas, medios, eventos y 20mil millones de plata pública fueron puestos a disposición de la estrategia mentirosa que hoy se usa a nivel nacional.
Si el Congreso no actúa, en pocos meses no habrá reversa porque la IA en manos equivocadas tendrá tanto poder que no podremos diferenciar entre lo que verdaderamente suceda en las calles de y libreto escrito desde Miami.
Están usando la tecnología solamente para acumular poder y plata, cuando es la herramienta para crear dignidad y justicia en Colombia.
Pero no les tenemos miedo y por eso les venceremos.
Eder, Galan, Fico, Char y otros, andan calladitos con los atropellos de Abelardo, porque como les dan contraticos de pura conveniencia, ya no se andan pronunciando como lo hacían contra Petro. Y a los medios y periodistas los están censurando los cacos aliados de Abelardo. #ElCaféDeLaMañana
Pues sí mis queridos señoras y señores... ¡Van a vender ECOPETROL!.
¿Se imaginan que eso lo hubiese dicho @petrogustavo?
Que variedad de hpts nos están gobernando.
¡Aplaudan! 😤
RAG is officially cooked.
Researchers proved you can stuff 1 billion triple knowledge graph directly into an LLM using only 20GB of VRAM.
no vector DB, no Pinecone bill, no chunking nightmares.
Researchers introduced AtlasKV, and it makes the entire RAG pipeline look ancient.
Instead of bolting an external search engine onto an LLM, AtlasKV integrates billion-scale knowledge graphs directly into the model's inherent attention mechanism.
Using two new methods (KG2KV and HiKVP), it translates knowledge graph triples straight into the AI's internal memory with sub-linear time and memory complexity.
And the numbers are ridiculous:
• 1 billion knowledge triples integrated at scale
• Runs on less than 20GB of GPU VRAM
• Zero external retrievers
• Zero bloated context windows
• Zero retraining required when you add new knowledge
It maintains strong grounding and generalization without paying the latency tax of searching and reading massive prompts.
We spent years building clunky, fragile retrieval pipelines just to help AI look things up.
Al recibir su premio como mejor periodista, @DCoronell desnudó hoy a Abelardo de la Espriella frente a los colombianos y ante el mundo entero. Lo retrató tal cual es y como actúa. Una vez más, el mundo queda sorprendido con el impresentable gobierno que tiene 🇨🇴.
¡Recuperamos nuestra segunda curul afro y no voy a descansar hasta que haya justicia!
Hoy presenté una denuncia penal de más de 200 páginas contra los cinco magistrados del @CNE_COLOMBIA por prevaricato por acción. No voy a descansar hasta ver que respondan ante la justicia por lo que ocurrió con nuestra curul.
¡La voluntad de más de 159.000 colombianos se respeta y los derechos de nuestro pueblo negro no se negocian!
La última PERLA del Gobierno de Abelardo contra las familias colombianas: a las motos por debajo del 200 C.C además del IVA le van a cobrar 8% de impuesto al consumo. Sí, según @ABDELAESPRIELLA los repartidores de Rappi, los trabajadores de Colombia que se movilizan en estas motos son MEGARICOS. Son cerca de 14 millones de motos donde se movilizan millones de familias en el país: El 95% de las motos del país está en hogares de estratos 1, 2 y 3. Es la herramienta del domiciliario, del mensajero, del vendedor. Este Gobierno no busca la plata donde está, la busca en el bolsillo del trabajador.
Sentencia Google vs. SIC
🚨 Fallo histórico en Colombia sobre Protección de Datos y Big Tech.
El Tribunal de Cundinamarca ratifica las órdenes de la SIC contra Google LLC.
¿Tiene competencia la autoridad colombiana sobre empresas tecnológicas extranjeras sin domicilio físico en el país? La respuesta judicial es que si.
El Tribunal Administrativo de Cundinamarca resolvió la demanda de nulidad interpuesta por Google LLC contra la Superintendencia de Industria y Comercio, negando la totalidad de las pretensiones y confirmando la validez de las órdenes de adecuación para proteger los datos de menores en el país.
Puntos clave:
1️⃣ Extraterritorialidad y cookies: el lugar de la recolección define la ley aplicable
El Tribunal determinó que la Ley 1581 de 2012 aplica a cualquier tratamiento en territorio nacional. Dado que las cookies y tecnologías de rastreo se instalan y leen en los dispositivos de usuarios en Colombia, la operación de recolección ocurre en el país, con independencia de que el almacenamiento o análisis se ejecute en servidores en el extranjero.
2️⃣ Consentimiento de menores: la regla de los 18 años es inquebrantable:
Google argumentó la validez del consentimiento autónomo para adolescentes entre 14 y 18 años. El Tribunal rechazó esta tesis: bajo el ordenamiento colombiano y el principio constitucional del Interés Superior, el tratamiento de datos de cualquier menor de 18 años exige obligatoriamente la autorización previa y expresa de sus representantes legales.
3️⃣ Insuficiencia de herramientas técnicas unilaterales
Plataformas como Family Link o YouTube Kids resultaron insuficientes frente al estándar legal colombiano, entre otras razones porque
-Permiten que a partir de los 13 años los menores gestionen su cuenta sin supervisión parental.
-Se basan en declaraciones unilaterales de edad.
-No resuelven el rastreo de usuarios que navegan sin iniciar sesión.
4️⃣ Medidas preventivas vs. sanciones
Las órdenes de la SIC no constituyen sanciones administrativas, sino medidas de adecuación preventiva. Por tanto, la autoridad actuó legítimamente dentro de sus facultades legales de supervisión.
5️⃣ Principio de responsabilidad demostrada (Accountability)
No basta con afirmar que se protege la privacidad: el responsable del tratamiento tiene la carga probatoria de demostrar medidas apropiadas, efectivas y auditables que garanticen el consentimiento parental.
¡Urgente!
El director de la DIAN Andrés Felipe Velásquez no solo debe renunciar a su cargo por conflicto de interés sino que debe ser procesado por falsedad en documento público.
Hoy hablamos con @danielcoronell
🚨 NOS PIDEN DISCULPAS POR SUS TRAMPAS.
Suspendieron la votación, levantaron la sesión y a la oposición le siguen negando la palabra. Hoy Simón Molina nos dio la razón.
Lo denunciamos penal, disciplinariamente y ante la Comisión de Ética. Representamos a más de 13 millones de colombianos: no nos van a callar.
Este video fue censurado mediante el sistema de propaganda y mentiras digitales en febrero.
Pero hoy es más vigente que nunca. Desde aquí empezó un ataque digital y judicial en mi contra.
Creo que la corrupción se ha metido en las gigantes tecnológicas.
Estos cuatro certificados de circuitos de fiscalías de los EEUU en Nueva York, Texas y la Florida demuestran que no tengo ningún proceso judicial en curso en los EEUU por ningún tipo de delito.
Mi inclusión en la lista OFAC no es más que por denunciar el genocidio en Gaza en el seno de la Asamblea General de las Naciones Unidas en Nueva York hace un año.