18 días después del asalto a Ceuta:
-No se ha expulsado a ningún marroquí. El que se ha querido quedar, sigue en Ceuta.
-Las únicas decisiones anunciadas son para gestionar su estancia, no para gestionar su salida.
-Los mensajes de las instituciones son ambigüos y erráticos (1).
🔴 La marca de agua de un LLM no es un carácter invisible que desaparece al pegar como texto plano. Explico cómo funciona realmente y si es posible eliminarla:
1. En un LLM, la marca de agua es el resultado de aplicar un patrón estadístico a la generación de tokens, que sólo el proveedor del modelo conoce realmente (y si comparte el método, como Google, mantiene secreta la clave para identificar el patrón).
2. ¿Cómo funciona?
En cada punto en el que el modelo va a generar una nueva palabra (en realidad un token), se toma una ventana del contexto que precede al nuevo token y se combina con una clave secreta. De ahí sale una semilla pseudoaleatoria, que se usa para dividir el vocabulario total en dos grupos de tokens: el grupo verde (el que queremos que nuestro modelo elija) y el grupo rojo.
Cuando no se interviene sobre la elección, cualquier token tiene una probabilidad determinada de ser el elegido, dado un contexto concreto. Esa probabilidad viene dada por el entrenamiento del modelo y su configuración interna (sus pesos y parámetros).
Lo que hacemos ahora es darle a los tokens del grupo verde un pequeño empujón, aumentando levemente sus probabilidades de ser elegidos. Y para decidir qué token va a cada grupo se usa una clave secreta, que sólo conoce el proveedor del modelo.
3. ¿Son fijos el grupo verde y rojo?
No, si lo fueran sería posible observar desde fuera qué palabras tienden a repetirse más que otras, y el lenguaje generado por ese modelo sería poco natural. Lo que se hace es que por cada contexto diferente, se genera su propio hash y su propia separación del vocabulario en tokens rojos y verdes.
Simplificando mucho: si digo “El próximo eclipse total se producirá…”, el token “en” podría estar en el grupo verde, y si digo “El próximo eclipse de totalidad tendrá lugar…“, el token “en” podría ser rojo.
4. ¿Degrada la calidad o coherencia del texto aplicar un método de este tipo?
Con una implementación más o menos sencilla como la que acabo de describir, sí, la calidad o naturalidad del texto sería ligeramente menor que si no se interviniera en la elección del token.
Pero existen métodos más complejos que hacen que, en la práctica, el sesgo sea imperceptible. Google Deepmind desarrolló y puso en open source un método llamado SynthID-Text, que le da una vuelta de tuerca al método base (llamado KGW por las siglas de sus autores).
SynthID, en lugar de dividir entre grupo verde y rojo para cada diferente contexto, aplica un método llamado “de torneo”. Se toman múltiples tokens elegidos libremente por el modelo como buenos para ese contexto (sin influir en esa elección) y se emparejan en duelos. Con una clave secreta se generan unas puntuaciones que deciden cuál de los tokens gana el duelo, repitiendo el proceso a lo largo de muchas rondas (generalmente 30).
La marca de agua es la correlación estadística que se va acumulando en el texto entre los tokens elegidos y sus puntuaciones de marca. Por aclarar: esas puntuaciones sólo pueden reconstruirse con la clave secreta que guarda Google, por eso no importa que hayan puesto el método general en open source.
5. ¿Es realmente imperceptible SynthID-Text?
Google hizo un test A/B en vivo en la app de Gemini, en el que enseñó a los usuarios respuestas con marca y sin marca. Luego analizó el feedback dado a veinte millones de estas respuestas. Conclusión: la tasa de “pulgares arriba” fue 0,01% mayor en las respuestas con marca, y la tasa de pulgares abajo, 0,02% menor. Es decir, no hay un efecto negativo apreciable al aplicar la marca de agua.
6. ¿Qué método concreto va a usar Anthropic? No lo sabemos exactamente. En su anuncio han hablado de “imperceptible”, y eso me sugiere que van a primar que se preserve la calidad del texto, tal y como hace SynthID.
7. ¿Todo esto tendría alguna efectividad en textos muy cortos?
La longitud del texto desde luego importa. A más texto, mayores posibilidades de incorporar la marca de agua de manera efectiva.
Y luego está la entropía del texto. Un texto creativo suele tener entropía alta, porque en general la probabilidad de cada posición no está altamente concentrada en unos pocos tokens, sino que se reparte de manera más equitativa entre muchas opciones. Pero no pasa lo mismo en textos de baja entropía, donde el camino hacia el próximo token está fuertemente determinado por el contexto que le precede.
8. Entonces, ¿qué pasa con el código o con textos de tipo legal?
En teoría, este tipo de textos se prestan peor a una marca de agua que los textos creativos. Pero también para esto hay una posible solución.
En código, no todas las partes del texto tienen la misma entropía. Por ello, se aprovecha para colar la marca de agua en elementos no vitales, como por ejemplo los nombres de las variables o los comentarios, en lugar de los elementos estructurales (como “for”, “in”, etc).
9. ¿Se puede eliminar la marca de agua si parafraseo el texto generado?
El clásico “espineado” de texto, un método muy usado en SEO antes de que existiesen los LLMs. Pues sí, si el parafraseado y uso de sinónimos es agresivo, podría debilitar o incluso eliminar el rastro de la marca (dependiendo de factores como el método de parafraseado y la longitud del texto).
Se ha visto que combinar “ataques” de léxico y de sintaxis puede ser efectivo. Según el CTO de GPTZero, ya hay herramientas que son capaces de saltarse SynthID.
Pero esto no quiere decir que cualquiera pueda hacerlo, o pueda hacerlo bien. El propio parafraseado necesita ser sofisticado, para no influir negativamente sobre la calidad del texto.
También es cierto que hay métodos de marca de agua más efectivos contra el parafraseo, al trabajar con embeddings (el significado latente del texto, en lugar de las palabras concretas que usas). Quizá Anthropic haya tirado por este lado, pero aún no lo sabemos.
10. ¿Compartirán los labs su detector con el público?
No lo sabemos. Es un dilema, porque si lo hacen estarían dando facilidades para romper la marca de agua, pero si no lo hacen, limitan la posibilidad de verificación independiente, que es lo que pide la UE.
Google anunció un detector, pero sólo ha dado acceso limitado a organizaciones y publicaciones. Anthropic ha prometido una API, pero creo que el acceso también estará limitado y el coste quizá sea elevado.
En definitiva, creo que veremos una carrera armamentística entre los modelos cerrados y los desarrolladores de herramientas para saltarse sus marcas.
Pero nadie puede garantizar hoy en día que tiene una herramienta que deshace la marca de agua de Anthropic, porque aún nadie ha visto cómo es esa marca.
Ayer.
El padre de mi amiga, 80 años, vasco en Palencia, cae y se abre la cabeza.
Traumatismo craneoencefálico, hemorragia y traslado urgente en ambulancia al hospital provincial.
—¿Qué medicación toma?
—No estoy segura, ¿no puede mirarlo usted en su historia clínica?
—No; no tenemos acceso.
Literal.
Yo sé que hay un proyecto del SNS para compartir la historia clínica entre los servicios autonómicos de salud. He leído memorias e informes sobre eso. He utilizado el servicio HCDSNS. Pero, ¿en el hospital de Palencia no pueden consultar la historia de un paciente de Bilbao?
El hombre, inconsciente, postrado en una camilla, y el médico no puede acceder a su historia clínica. ¡Qué puñetera vergüenza de país!
Le hacen pruebas y analíticas. Días después, mi amiga gestiona un transporte urgente en ambulancia hasta Bilbao.
Pero necesita llevar a Osakidetza los resultados de las pruebas médicas —varios TAC, analíticas…— que hicieron a su padre en Palencia.
Dicen que no lo pueden enviar por correo electrónico.
Dicen que no se lo pueden guardar en un pendrive.
Al final le guardan los resultados… ¡en un puñetero CD-ROM!
Llega ayer mi amiga agotada y angustiada a mi casa —en Santander—, desde Palencia, pidiéndome leer el CD-ROM del Servicio de Salud de Castilla y León (SACYL) para enviarlo por email al médico del Servicio Vasco de Salud (Osakidetza) y después salir corriendo otra vez en coche hacia Bilbao.
De verdad, ¡idos todos a la mierda!
Ayer recibí los dos informes de la UDEF sobre Zapatero, como me imagino le ha pasado a media España.
He hecho como Rufián el otro día y apenas he dormido leyendo todo por aclararme.
Como los medios sacan noticia por noticia para ganar clicks… he decidido ordenar las ideas y hacer un hilo completo sobre el caso.
El informe 1907 (186 páginas) reconstruye la estructura: quién es quién en la red, qué sociedades controlan, por dónde se mueve el dinero, dónde acaba y qué papel juega cada implicado. Es la radiografía societaria y financiera.
El informe 1908 (158 páginas) reconstruye la cronología: ordena por fecha los mensajes de WhatsApp, correos electrónicos, llamadas y reuniones recuperados del móvil de Rodolfo Reyes y de los demás dispositivos intervenidos. Es el guion temporal del caso.
Uno te explica el cómo y el cuánto, el otro te explica el cuándo y el con quién.
Por eso, a lo largo del hilo, las capturas alternan entre los dos: cuando se cita un mensaje concreto (una frase, una hora, un día), la fuente es casi siempre el 1908; cuando se cita una conclusión policial, una titularidad societaria o un flujo de dinero, la fuente es el 1907.
Abrochaos los cinturones… que empezamos.🧵
1 Estamos cometiendo un error estratégico de primer orden: sustituir ganado local por carne importada. No es solo economía. Es territorio, fuego, biodiversidad y control del sistema alimentario.
Europa prohíbe, regula y encarece su ganadería… y luego importa carne de fuera para sustituirla. Si parece incoherente, es porque lo es.