@XMihura No depende de que el modelo sea chino ni pequeño, es un riesgo sistémico.
Se mitiga con mínimo privilegio, sandboxing, allowlists de herramientas, separación datos/instrucciones, validación de outputs y aprobación humana.
Es una carrera continua, no terminará nunca.
> be me, 32 años
> técnico superior de la Agencia Estatal para la Gobernanza Algorítmica Responsable
> en LinkedIn: "Building trust in the future through human-centric AI"
> en realidad: sé en qué congresos ponen jamón y en cuáles hay que cenar luego
> lo segundo se aprende a hostias
> lunes, 08:43
> llego a la sede
> tengo que fichar en un cuaderno porque el sistema de INDRA está pendiente de homologación
> el boli está atado a la mesa
> la inteligencia artificial puede escapar al control humano, pero un Bic no
> en recepción hay un cartel de tres metros que dice ANTICIPAMOS EL MAÑANA
> llevamos once meses anticipando el mañana
> el mañana ya ha llamado dos veces preguntando a ver qué pasa
> nuestra misión principal es supervisar y sancionar los sistemas de IA
> pequeño detalle sin importancia: la ley del régimen sancionador sigue bloqueada en fase de enmiendas en el congreso
> no tenemos autoridad ni para multar al algoritmo de Tinder
> si mañana Skynet se hace con el control de los misiles nucleares podemos invitarla a una mesa redonda
> y si no viene, dejamos una silla vacía
> mensaje que manda el regulador es durísimo
> estructura sí que tenemos
> tenemos Presidencia, Consejo Rector (9 miembros), la Dirección, Secretaría General, dos Subdirecciones Técnicas y una Comisión de Control más un ejercito de asesores
> hay más cargos directivos en el organigrama que GPUs en la península ibérica
> debajo del todo está Sergio
> Sergio es el único que sabe qué es Python de todo el edificio
> técnicamente no trabaja aquí
> trabaja para una consultora que trabaja para otra consultora que tiene un acuerdo marco con nosotros
> hoy a las 09:30 tenemos una reunión
> "Laboratorio de Ideas"
> somos diecisiete personas y hay dieciséis sillas
> Sergio se queda de pie ya que conocimiento técnico tiene carácter transversal
> la directora abre la sesión
> "Tenemos que pasar de la reflexión a la acción" comenta
> aprobamos organizar unas jornadas sobre cómo hacerlo
> una asesora propone llamarlas "Del Diálogo al Impacto"
> otro dice que falta Europa
> "Del Diálogo al Impacto: una Perspectiva Europea"
> otro dice que falta el ciudadano
> "Del Diálogo al Impacto: una Perspectiva Europea Centrada en la Ciudadanía"
> llevamos cuarenta minutos y ya no cabe en el cartel
> Sergio pregunta si no sería mejor desarrollar una herramienta que ayude a la gente
> *silencio*
> la directora pregunta
> "¿una herramienta de qué tipo?"
> "un chatbot que responda preguntas sobre la agencia"
> me parece peligroso, yo llevo once meses dentro y aún no sé muy bien qué hacemos
> Sergio dice que puede tener un prototipo después del café
> la subdirectora lo mira como si hubiera propuesto hacer una cesárea en el ascensor
> "Primero habrá que definir los grupos de trabajo"
> Sergio insiste en que solo son dos horas
> qué manera de cerrarse puertas con veinticuatro años
> 11:40
> Sergio presenta un prototipo
> funciona
> la directora escribe: "qué hace esta agencia?"
> responde con seis puntos claros
> nadie dice nada
> es la primera vez que lo vemos explicado
> la secretaria general pregunta de dónde ha sacado la información
> "de nuestra web"
> pide abrir una incidencia para averiguar quién ha publicado eso
> siguiente pregunta
> "¿podéis multar a una empresa que incumpla la normativa?"
> el chatbot responde que actualmente no
> crisis
> "eso está descontextualizado"
> "pero es correcto", dice Sergio
> este chaval está haciendo un speedrun para no renovar
> constituimos un comité para alinear las respuestas
> catorce personas corrigiendo a una máquina que había dicho la verdad a la primera
> dos horas después volvemos a preguntarle qué hace la agencia
> "La Agencia promueve un marco de actuación orientado al impulso de las capacidades de los distintos actores del ecosistema"
> la directora sonríe
> "ahora sí"
> el proyecto necesita un nombre
> propongo HÉRCULES
> Hardware Ético Responsable para la Coordinación Unificada de Líneas Estratégicas Sostenibles
> no sé qué significa, pero las iniciales encajan
> Sergio dice que un chatbot no es hardware
> le explico que no podemos cambiar toda la arquitectura del proyecto a estas alturas
> la directora está encantada
> Comunicación nos pregunta que qué puede hacer HÉRCULES
> le pasamos una captura
> «¿Hola, en qué podemos ayudarte?»
> les gusta mucho
> preguntan si podemos quitar lo de ayudarte porque genera expectativas
> queda «Bienvenido a HÉRCULES»
> Perfecto
>15:40
> nos llega un e-mail de Jurídico, dicen que por ley una persona tiene que revisar todas las respuestas que emita HÉRCULES
> la directora pregunta quién
> todos miramos a Sergio
> Sergio mira detrás
> detrás hay una planta
> la planta es personal propio, está más protegida que él
> configura el sistema para que le lleguen las preguntas que la IA no sepa responder
>hacemos una prueba
> «hola»
> HÉRCULES considera que no dispone de contexto suficiente
> deriva a Sergio
> Sergio escribe «hola»
> el sistema lo muestra en pantalla
> *ovación*
> acabamos de inventar un chat con Sergio, pero pagando por tokens
> 16:00
> hora de marcharse, pero antes hay que hacer la foto para la prensa
> nos colocamos delante del cartel ANTICIPAMOS EL MAÑANA
> alguien llama a Sergio
> viene sonriendo
> le damos el móvil
> "en horizontal, que es para la web"
> subo la imagen a LinkedIn:
> "La tecnología solo tiene sentido cuando ponemos a las personas en el centro"
> debajo escribo
> "Proud of this incredible team"
I am done with this shit. It is over. The state of engineering right now is horrible. It has been half a month since I started a new role at a big company. Nobody knows anything here. The specs, code, tests, PRDs, tickets, resolution of those tickets, reports, etc., everything is made by Claude Code. Nobody on my team likes this. They are being forced to ship as much as they can. I have heard multiple times from higher management that pushing code is not a bottleneck, so why are we slow? People are working 12 to 13 hours a day just to press enter. Nobody is reading anything. Humans in corporate are doing nothing on their own. Everyone, literally everyone, from an L1 to an L7 engineer here is doing the same thing. Talk to Claude. There is no sense of victory. Nobody is resolving bugs. In reality, nobody is thinking anymore. Everything is done by LLMs. It is so soul-sucking. I would not mind it, to be honest, if we were at least given the time to check out the code and see what is going where. But no, the goal is to just ship. No matter what happens.
I cant help but think sometimes that AI ruined coding
Remember the feeling of locking in for hours and hours. The context of the entire codebase all loaded in to your brain. Typing code letter by letter. Bug after bug after bug until it finally worked?
Exactly zero new engineers will ever feel that level of flow
I wouldn't trade this for the world, but I do miss those days
Replacing a one-line string comparison with a network call, a prompt, and 5M max_tokens isn't progress, it's latency and a monthly bill for something str[0] already solved.
“Al eliminar los archivos en papel y reemplazarlos por archivos digitales, pueden borrar la historia. Un día encontrarás el mensaje ‘la página no existe’, y al día siguiente verás que niegan que haya sucedido.”
Julian Assange.