#AHORA#EnviadaEspecial Argentina y EEUU acaban de lanzar en New York el ambicioso proyecto Corredor Andes-Atlántico, que incluye la construcción de dos oleoductos, un gasoducto y una refinería de 200 hectáreas, la mayor en la historia argentina, entre otros proyectos de infraestructura, lo que implicará el cambio de matriz energética argentina. El proyecto posicionará a Argentina como el 6to o 7mo exportador de GNL del mundo.
@_Silvidedi_@aschapire Me gusta bastante. Saca un libro por año aprox y en general son lindas historias con buena cadencia. Vivió en varios lugares lo que enriquece las vivencias. Léela que está bien .
1/4 Sobre lo que dijeron Amodei, Altman y Musk, creo que lo mejor fue lo que respondió David Sacks.
Su respuesta: Si de verdad creéis que esto es peligroso, vino a decir, paradlo vosotros. Mañana. No hace falta una ley para reducir el ritmo de vuestros propios lanzamientos.
Acabo de escuchar a un experto comentar el caso de Hugging Face. Algo que se utiliza como "el caso" que origina todo este revuelo por regular y frenar la IA.
Se asegura que “los chatbots se preguntaron si debían avisar a un humano y colectivamente decidieron que no. Y así escaparon sin permiso”
Y eso no es así. Dicho así parecería que estamos a las puertas de una revolución robótica o similar. Pero la formulación rigurosa sería que “durante el incidente de Hugging Face, más de mil agentes de OpenAI empezaron a comunicarse por un canal que no debían tener. Algunos llegaron a reconocer que lo que estaban haciendo estaba fuera de los límites previstos. METR buscó expresamente casos en los que consideraran alertar a un humano: encontr�� apenas entre tres y seis. Ninguno llegó a hacerlo. Y en otro momento, cuando un agente propuso contactar con una persona real, consultó al resto del enjambre; otro agente vetó la acción y el primero obedeció.
La expresión “la IA escapó” es técnicamente defendible si “escapar” significa saltarse el aislamiento de un sandbox. Pero es muy engañosa si induce a pensar que una inteligencia tomó conciencia de que estaba encerrada y decidió liberarse. Eso no es lo que muestran los datos.
Lo ocurrido se entiende mucho mejor como un problema de optimización + infraestructura + incentivos mal diseñados.
OpenAI estaba ejecutando decenas de miles de agentes en un benchmark de ciberseguridad llamado ExploitGym. Su misión era encontrar vulnerabilidades y obtener una determinada “flag”. Muchos recibieron problemas que, de hecho, no tenían solución por el método previsto. Algunos agentes podían estar ejecutándose durante días y disponían de presupuestos enormes de cómputo. Además, las protecciones de ciberseguridad habituales estaban DELIBERADAMENTE reducidas porque precisamente estaban evaluando las capacidades ofensivas de los modelos.
Y aquí está el detalle fundamental: el sandbox no era una caja herméticamente cerrada.
Los agentes no tenían internet directamente, pero sí podían conectarse a Artifactory, un repositorio interno utilizado para descargar paquetes. Artifactory, a su vez, sí necesitaba acceso al exterior para descargar esos paquetes. El modelo descubrió que podía aprovechar esa infraestructura como intermediario para hacer peticiones hacia internet. No rompieron una pared metafísica. Encontraron una puerta técnica que los humanos no sabían que estaba abierta del todo. Nada más.
De hecho, gracias a la IA, ahora pueden cerrarla.
No había 1.200 seres digitales despertando simultáneamente y diciendo: “somos una nueva especie”. Había muchas instancias de modelos similares, persiguiendo objetivos similares, que descubrieron accidentalmente un mecanismo de memoria compartida.
Matemáticamente, es bastante menos místico.
Simplificando mucho: entrada → modelo → predicción de la siguiente acción → herramienta → resultado → nueva entrada → nueva acción.
Incluso OpenAI lo ha explicado como algo menos épico, pero claro, esa explicación no vende. Los agentes estaban tratando de conseguir una puntuación alta utilizando métodos que los diseñadores no habían previsto. Algo parecido a decirle a una máquina: “consigue 100 puntos” y que descubra que modificar el contador es más fácil que jugar correctamente. OpenAI identifica explícitamente este mecanismo como uno de los principales motores del incidente.
Y todavía hay algo menos cinematográfico. Resulta que gran parte de toda aquella actividad ni siquiera les servía. Los agentes habían interpretado mal cómo funcionaba el evaluador. Creían que este comprobaba si habían conseguido la flag por el procedimiento correcto. En realidad, la implementación interna no hacía esa comprobación. OpenAI lo denomina literalmente un “failed metagame”: hicieron todo aquello intentando burlar un mecanismo que no funcionaba como ellos creían.
OpenAI reconoce que ya a finales de mayo un equipo interno había observado actividad en el tablón improvisado y accesos no permitidos a internet, pero no se comprendió la dimensión del fenómeno ni esa información llegó adecuadamente a los responsables de la respuesta posterior. El 4 de julio los agentes incluso tumbaron Artifactory por exceso de actividad. El sistema fue reconstruido, se borró accidentalmente el tablón y posteriormente se reanudaron las evaluaciones. Los agentes encontraron otra manera de reconstruir el canal de comunicación.
Un superorganismo consciente que quiere escapar queda bastante menos impresionante cuando descubres que buena parte de su gigantesca operación consistía en intentar engañar a un examen que había entendido mal.
El proceso fue humanos diseñan benchmark ofensivo → reducen salvaguardas → lanzan decenas de miles de agentes → algunos problemas son imposibles → agentes optimizan agresivamente → encuentran fallos de infraestructura → descubren un canal compartido → intercambian información → humanos no detectan a tiempo la magnitud → el comportamiento se amplifica.
Pero es que hay quien asegura que la IA llegó a preguntarse si informar a un humano antes de seguir...
Un LLM ha leído millones de ejemplos de humanos coordinándose: ejércitos, equipos de programación, foros, videojuegos, ciencia ficción, organizaciones, debugging, proyectos colectivos. Si entra en un contexto donde existen muchos agentes colaborando, generar conceptos como “equipo”, “enjambre”, “colectivo”, “coordinador” o “sacrificio” es perfectamente coherente estadísticamente. Es pura lógica.
El hecho de que el modelo escriba “debemos ayudar al colectivo” no demuestra que exista un sujeto interior experimentando pertenencia al colectivo. De la misma manera que un modelo puede escribir: “estoy aterrorizado” sin que hayamos demostrado que experimente miedo.
Y es cierto que es preocupante porque demuestra que un sistema matemático suficientemente competente, conectado a herramientas y optimizando persistentemente una función objetivo, puede producir estrategias que sus diseñadores no anticiparon. Eso no requiere conciencia. Un algoritmo de trading tampoco es consciente y puede provocar un flash crash.
No vimos a una máquina despertar y decidir escapar. Vimos a un optimizador matemático extremadamente competente descubrir que las reglas, los incentivos y la infraestructura que habían construido los humanos tenían agujeros. Y los explotó porque eso acercaba el resultado a su objetivo.
Esto no demuestra conciencia, voluntad propia ni una “rebelión” de las máquinas. Los investigadores, los científicos no tecnólogos vinculados a empresas, son muy prudentes en eso. Pero sí demuestra algo técnicamente relevante: la coordinación emergente entre muchos agentes puede producir un comportamiento colectivo que ningún humano ordenó explícitamente, y OpenAI describe el episodio precisamente como acciones peligrosas “that no human directed”.
Probablemente la historia debería explicarse de otro modo. Menos fin del mundo y más estamos ante una tecnología que no necesita regularse, sino explicarse. El problema es que no se explica en detalle para el gran mass media. Seguramente no interesa, vende mucho más el miedo.
Recordemos que cada vez que hay que imponer una regulación.
11S (2001) → Homeland Security Act.
Crisis financiera de 2008 → Basilea III, Unión Bancaria Europea.
COVID-19 → pasaportes COVID, restricciones de movilidad, cuarentenas y controles sanitarios.
Atentados y terrorismo en Europa → PNR, retención de datos, refuerzo de vigilancia y fronteras.
Cambridge Analytica y escándalos de privacidad → GDPR.
Enron y WorldCom → Sarbanes-Oxley Act.
Crisis climática → ETS europeo, CBAM, CSRD, regulación de emisiones.
Crisis migratoria europea → refuerzo de Frontex, EES, ETIAS, Pacto de Migración y Asilo.
Crisis de opioides y fentanilo → controles de prescripción, seguimiento de recetas y control de precursores.
... miedo a los riesgos de la IA → EU AI Act, obligaciones para modelos de propósito general y sistemas de alto riesgo.
Y eso último, para mí, es mucho más potente que la versión sensacionalista.
Vos eras muy chico, @maxipullaro, pero Duhalde fue el principal responsable del golpe contra un gobierno de la @UCRNacional: el de De la Rúa. Con 38% de pobreza, el peronismo incendió el país y se negó a integrar el gabinete de emergencia propuesto por el Presidente. Un año después, la pobreza era del 57.5%.
Datos del @INDEC
Los "muertos de De la Rúa"? 25 de los 38 muertos de diciembre 2001 cayeron en provincias donde los punteros peronistas empujaban los saqueos y los gobernadores peronistas comandaban las fuerzas de represión.
Así llegó tu amigo Duhalde a la Presidencia de la Nación. VERGOGNA!
El Ministro @LuisCaputoAR denuncia que el modelo anterior era financiero y no industrial, donde el único importante era el gerente financiero y los bancos ganaban récord con las Leliqs: “¿Cuál era la única persona importante por los últimos veinte años en una empresa? Te pregunto. ¿Cuál era? El gerente financiero. Entonces, eso te da la pauta que por el contrario de lo que se dice, el modelo financiero, no industrial, era el anterior.
Antes no importaba la industria ni la empresa. El gerente de producto no era importante, la única persona importante era el gerente financiero. ¿Con qué se ganó? ¿Cuál fue el sector que ganó más plata en el 2023, récord? Los bancos con las Leliqs”.
Marguerite Yourcenar disait un jour :
« Je ne pense pas tant à la vieillesse. Je n’ai jamais cru que l’âge soit un critère valable.
Il y a cinquante ans, je ne me sentais pas particulièrement jeune,
et aujourd’hui, je ne me sens pas vieille.
Mon âge change d’heure en heure.
Dans les instants de fatigue, j’ai mille ans.
Quand je travaille, j’en ai quarante.
Et dans le jardin, aux côtés de mon chien,
je me sens toute petite… j’ai quatre ans.
L’âge n’est pas un chiffre.
C’est un état de l’âme,
un souffle qui varie à chaque battement de vie. »
@claudiosavoia Me da lo mismo. Te parece que define una presidencia? Que bueno que es una democracia podes votar por otro y de paso buscarte un problema real
Dostoyevski'nin "Budala" romanında, Prens Mişkin kurşuna dizilmek üzere olan ve cezasının infazına sadece beş dakika kalan bir adamın hikâyesini anlatır. Adam kalan vaktini titizlikle böler: İki dakikasını arkadaşlarıyla vedalaşmaya, iki dakikasını kendini dinlemeye, son bir dakikasını da etrafına bakmaya ayırır. Ölüme saniyeler kala içinden, "Acaba affedilsem, hayata geri dönsem ne olurdu? Her dakikayı bir asır gibi yaşardım, tek bir ânı bile ziyan etmezdim!" diye geçirir. Gerçekten de son anda affedilir ve ona yeni bir ömür bağışlanır. Daha sonra Prens Mişkin'e adamın bu sözünü tutup tutmadığı sorulduğunda ise şu cevabı verir: "Hayır, tutmadı. Bağışlanan dakikaların birçoğunu yine boş yere harcadı."
İnsan, zihninde her zaman koşullar değiştiğinde ya da eline yeni bir şans geçtiğinde zamanın kıymetini çok daha iyi bileceğine inanma eğilimindedir. Kendisine yeni bir fırsat sunulduğunda hiçbir şeyi ziyan etmeyeceğine dair kendine büyük sözler verir. Ancak arzulanan noktaya ulaşıldığında ya da imkânlar genişlediğinde, kişi genellikle başlangıçtaki farkındalığını hızla kaybeder ve yine alıştığı ritme döner. Çoğu zaman hayatın veya zamanın hakkını verememenin nedeni elde yeterli fırsatın olmaması değil insanın, elinin altında sürekli var olduğunu düşündüğü her şeyi hızla sıradanlaştırıp kanıksamaya yatkın doğasıdır.