un tal Javier

AI Engineer

[Gerard @Gsnchez]

Os comento algunos resultados preliminares:

1/ He parseado 126.065 PDFs del BORME desde 2009 hasta hoy. ¿Por qué 2009? Porque ahí cambió el formato del boletín. Antes de eso la estructura es diferente y requiere otras técnicas, pero 2009-2026 cubre la inmensa mayoría de empresas activas hoy.

2/ El problema del cruce: el BORME no publica el CIF de las empresas. Solo el nombre y los datos registrales (tomo, hoja, inscripción). Así que para cruzar con licitaciones toca hacer matching por nombre normalizado: quitar acentos, unificar formas jurídicas (S.L. = SL = Sociedad Limitada), eliminar paréntesis, guiones, etc.

Resultado: de 5,9M de adjudicaciones en el PLACSP, 3,8M cruzan con alguna empresa del BORME. Un 64%, que representa 1.482 mil millones de euros en contratos (67% del importe total). El 36% restante son autónomos (personas físicas que no aparecen en el Registro Mercantil), UTEs, y empresas constituidas antes de 2009.

3/ ¿Y las homónimas? Sin CIF, "CONSTRUCCIONES GARCIA SL" en Madrid y en Sevilla son la misma empresa para nosotros. Para medir el problema, analicé los NIFs del propio PLACSP: el 95% de los nombres normalizados corresponden a un único CIF. La homonimia existe pero es baja.

4/ Con ese cruce he buscado 5 tipos de anomalías:
Empresa recién creada: constituida menos de 6 meses antes de ganar un contrato público. Salen 16.337 adjudicaciones.

Capital ridículo: empresa con menos de 10.000€ de capital social ganando contratos de más de 100.000€. 71.461 adjudicaciones.

Multi-administrador: la misma persona aparece como cargo en más de una empresa. 1.052.326 personas. Este flag todavía está crudo — lo interesante será cruzarlo con PLACSP para ver si esas empresas compiten en las mismas licitaciones.

Disolución post-adjudicación: la empresa se disuelve menos de un año después de ganar el contrato. 9.928 adjudicaciones.

Adjudicación en concurso: empresa en situación concursal recibiendo contratos públicos. 9.655 adjudicaciones.

Ninguno de estos flags es una acusación. Crear una SL con 3.000€ de capital es perfectamente legal. Que un administrador esté en 5 empresas también. Son señales que, acumuladas o combinadas, merecen una segunda mirada.

5/ Lo que falta: cruzar los multi-administradores con licitaciones concretas, analizar cambios de cargos alrededor de las fechas de adjudicación, incorporar contratos menores, y buscar fuentes complementarias de CIF para mejorar el matching.

Vamos a ello.

[un tal Javier @sr__jb]

@BarriPdmx @tonacho @DotCSV Además, creo que su intención es exponer la API de la aplicación para que otro LLM pueda utilizarla automáticamente, al estilo Model Protocol Context.

[un tal Javier @sr__jb]

@BarriPdmx En mi caso uso OpenAI para tareas generales + clasificación/categorización (por API).
Gemini: tareas de contextos amplios.
Claude: orquestación agencia y code assistant.
Para búsquedas masivas en internet, prefiero las herramientas de deep research de OpenAI o Google.

[un tal Javier @sr__jb]

@javilop Sin duda! Si me acuerdo te paso foto de los lotes. Estoy de acuerdo contigo en lo del tiempo, cuando voy apurado pido a domicilio pero a través de UberOne, me sale gratis el envío. De todas formas yo suelo ir en horas que no hay mucha gente y pedir que me lo envíen gratis a casa.

[un tal Javier @sr__jb]

@javilop Son lotes estilo 1k filetes de pollo + 1k de ternera + 1k lomo adobado 26,99€ que te ahorras unos 5€ a si lo pillas por separado. Lo de la preparación, en pescadería si está, en carnicería no, por ejemplo si quiero pedir una pechuga de pollo en dados no puedo.

[Jaime Gómez-Obregón @JaimeObregon]

‼️ Que no, @PabloIglesias.

El «Twitter público» que planteáis solo mueve el centro de gravedad: del ombligo de Musk a un enésimo nuevo ente público. No resuelve el problema y crea otros nuevos.

❌ Red social privada → Red social pública
✅ Plataformas cerradas → Protocolos abiertos

Musk puede…
— comprar Volkswagen, pero no las carreteras
— comprar Telefónica, pero no el teléfono
— comprar Chrome, pero no la web
— comprar Gmail, pero no el email

La web nació descentralizada y distribuida. En los últimos 20 años se ha ido centralizando (en las FAANG).

Trump y Musk no son el problema. Son la consecuencia.
El problema es la centralización. ¡Y vienen muchas curvas más! Si quieres, lo debatimos en abierto. Pero con datos y argumentos. Los míos: https://t.co/WhQWShY7ra

[Jaime Gómez-Obregón @JaimeObregon]

‼️ Vienen grandes cambios y es importante que sepas lo que va a pasar

¡Cuántas veces nos quejamos de servicios públicos digitales mal diseñados! Trámites terribles que luego todos tenemos que padecer y ya es casi imposible cambiar.

Ahora está en ciernes un cambio drástico en la forma de facturar en España. Afecta a más de tres millones de empresas y autónomos, pero también a ti, a mí y a todos, porque todos somos consumidores y recibimos facturas.

Y tal como se está planteando, esto va camino de ser otra «web de Renfe» de la que estaremos lamentándonos durante años.

👉 Pero esta vez los hechos aún no están consumados
👉 Los cambios no están en vigor todavía
👉 Estamos a tiempo de actuar ‼️

Como en todo lo que escribo, no encontrarás aquí partidismo, ideologías ni política. Esto no va de colores ni siglas. No es eso. Va de corregir el rumbo para aprovechar unos cambios normativos que —si se despliegan bien— podrían tener un impacto fabuloso. Va de mejorar el país.

📰📺 He contactado con periodistas de varios medios de comunicación relevantes. Ninguno se ha interesado por este asunto. ¿Ha abdicado el periodismo de su función de controlar el poder?

A continuación voy a hablarte de facturación electrónica, fraude en el IVA y reporte fiscal. Quizá te parezca un mundo gris, pero te aseguro que nos afecta a todos. Es por ello que voy a utilizar un lenguaje asequible y a omitir los detalles, para no perder de vista lo importante. Es un problema complejo que no voy a infantilizar, aunque sea al precio de que algunos se queden por el camino.

Así que si solo quieres actuar sin conocer el meollo… puedes saltar directamente al último tuit de este hilo.

[Jaime Gómez-Obregón @JaimeObregon]

—Pongamos un metaverso. Y veamos qué problema de la ciudadanía resuelve. Y si no hay ninguno, lo inventamos.

Aquí la entrevista de hoy en RTVE. No daba tiempo a profundizar. Pero confío en que sirva para visibilizar el cambio que necesitamos en digitalización y transparencia.

[Carlos Santana @DotCSV]

El modo de voz de GPT-4o es una barbaridad!

En este nuevo vídeo se aprecia muy bien detalles del análisis de audio, como por ejemplo entender quién habla en cada caso, incluso en circunstancias donde ambos hablan a la vez.

Brutal!

[OpenAI @OpenAI]

Say hello to GPT-4o, our new flagship model which can reason across audio, vision, and text in real time: https://t.co/MYHZB79UqN

Text and image input rolling out today in API and ChatGPT with voice and video in the coming weeks.

[Sam Altman @sama]

live-tweeting our live stream in 1 minute!

[Sam Altman @sama]

amazing work!

[Carlos Santana @DotCSV]

Interesante alianza de Stack Overflow con OpenAI

Una de las grandes perjudicadas por la salida de ChatGPT aplica esto de "si no puedes con tu enemigo, únete a él", en una estrategia semejante a la que hemos visto con algunos medios de comunicación licenciando el uso de sus datos

[P. Duchement @PDuchement]

La respuesta a por qué #TikTokNoEsParaNiños… no te llevará más de 4 minutos y 18 segundos.

[Daniel Han @danielhanchen]

Llama-3 70b QLoRA finetuning is 1.83x faster & uses 63% less VRAM than HF+FA2

1. Llama-3 70b + Unsloth can fit 48K context lengths on bsz=1 on A100 80GB (6x longer than FA2) with +1.9% overhead

2. Llama-3 8b QLoRA fits in a 8GB card & is 2x faster, uses 68% less VRAM. Can fit 3x longer contexts at 85K

3. We auto fix NaN gradients due to untrained tokens. BOS token now added correctly - tokenizer didn't have it

4. Native inference is 2x faster than HF. Endless generation fixed - 2 EOS tokens now

[Javi López ⛩️ @javilop]

🤯 Vaya locura.

Simulon puede añadir cualquier modelo 3d a un vídeo real en cuestión de minutos.

¡Es tan real que casi puedo tocarlo!

[Andrej Karpathy @karpathy]

Congrats to @AIatMeta on Llama 3 release!! 🎉
https://t.co/UBwFPTJM6V
Notes:

Releasing 8B and 70B (both base and finetuned) models, strong-performing in their model class (but we'll see when the rankings come in @ @lmsysorg :))
400B is still training, but already encroaching GPT-4 territory (e.g. 84.8 MMLU vs. 86.5 4Turbo).

Tokenizer: number of tokens was 4X'd from 32K (Llama 2) -> 128K (Llama 3). With more tokens you can compress sequences more in length, cites 15% fewer tokens, and see better downstream performance.

Architecture: no major changes from the Llama 2. In Llama 2 only the bigger models used Grouped Query Attention (GQA), but now all models do, including the smallest 8B model. This is a parameter sharing scheme for the keys/values in the Attention, which reduces the size of the KV cache during inference. This is a good, welcome, complexity reducing fix and optimization.

Sequence length: the maximum number of tokens in the context window was bumped up to 8192 from 4096 (Llama 2) and 2048 (Llama 1). This bump is welcome, but quite small w.r.t. modern standards (e.g. GPT-4 is 128K) and I think many people were hoping for more on this axis. May come as a finetune later (?).

Training data. Llama 2 was trained on 2 trillion tokens, Llama 3 was bumped to 15T training dataset, including a lot of attention that went to quality, 4X more code tokens, and 5% non-en tokens over 30 languages. (5% is fairly low w.r.t. non-en:en mix, so certainly this is a mostly English model, but it's quite nice that it is > 0).

Scaling laws. Very notably, 15T is a very very large dataset to train with for a model as "small" as 8B parameters, and this is not normally done and is new and very welcome. The Chinchilla "compute optimal" point for an 8B model would be train it for ~200B tokens. (if you were only interested to get the most "bang-for-the-buck" w.r.t. model performance at that size). So this is training ~75X beyond that point, which is unusual but personally, I think extremely welcome. Because we all get a very capable model that is very small, easy to work with and inference. Meta mentions that even at this point, the model doesn't seem to be "converging" in a standard sense. In other words, the LLMs we work with all the time are significantly undertrained by a factor of maybe 100-1000X or more, nowhere near their point of convergence. Actually, I really hope people carry forward the trend and start training and releasing even more long-trained, even smaller models.

Systems. Llama 3 is cited as trained with 16K GPUs at observed throughput of 400 TFLOPS. It's not mentioned but I'm assuming these are H100s at fp16, which clock in at 1,979 TFLOPS in NVIDIA marketing materials. But we all know their tiny asterisk (*with sparsity) is doing a lot of work, and really you want to divide this number by 2 to get the real TFLOPS of ~990. Why is sparsity counting as FLOPS? Anyway, focus Andrej. So 400/990 ~= 40% utilization, not too bad at all across that many GPUs! A lot of really solid engineering is required to get here at that scale.

TLDR: Super welcome, Llama 3 is a very capable looking model release from Meta. Sticking to fundamentals, spending a lot of quality time on solid systems and data work, exploring the limits of long-training models. Also very excited for the 400B model, which could be the first GPT-4 grade open source release. I think many people will ask for more context length.

Personal ask: I think I'm not alone to say that I'd also love much smaller models than 8B, for educational work, and for (unit) testing, and maybe for embedded applications etc. Ideally at ~100M and ~1B scale.

Talk to it at https://t.co/KmKRlZeTHQ
Integration with https://t.co/RD6MRWT2zz

[Elon Musk @elonmusk]

Precisely

[Carlos Santana @DotCSV]

🔥🔥 ¡¡NUEVO VÍDEO!! 🔥🔥

PREGUNTA: ¿Y si la IA pudiera IMAGINAR?

Que la IA pudiera aprender su propio mundo interno donde poder planificar sus acciones y ejecutarlas. ¿No sería espectacular esto? 😯✨

Pues esto ya existe y es gracias a los WORLD MODELS!

(link a continuación)