La portada de @TIME de esta semana debería detenernos. No porque demuestre que la IA vaya a exterminar a la humanidad, sino porque documenta algo quizá más inquietante: quienes construyen los sistemas más poderosos del mundo empiezan a reconocer públicamente que su capacidad para hacerlos más inteligentes puede estar avanzando más rápido que su capacidad para controlarlos.
Ya no hablamos sólo de chatbots que se equivocan. Hablamos de agentes que actúan, programan, atacan sistemas, buscan atajos, cooperan entre sí, intentan evadir controles y comienzan a ayudar a construir la siguiente generación de IA. El salto histórico es brutal: pasamos de máquinas que producen respuestas a máquinas capaces de producir consecuencias.
Y ahí está la pregunta que deja esta portada de TIME: si las propias empresas admiten que no comprenden completamente hasta dónde puede llegar esta carrera, ¿quién les otorgó el derecho de decidir, por sí solas, cuánto riesgo debe asumir toda la humanidad? Quizá el verdadero punto de inflexión no sea tecnológico. Es político, jurídico y civilizatorio: la carrera ya no es OpenAI contra Anthropic o Estados Unidos contra China. Es la capacidad de la tecnología contra nuestra capacidad para gobernarla.
Completamente de acuerdo, no hay ningún argumento legal que pueda contradecir las razones lógicas que expone el presidente @ABDELAESPRIELLA . Esto si es extrema coherencia!
No voy a permitir que las universidades públicas sigan siendo santuario de la violencia bajo ninguna circunstancia.
Respeto y garantizo la protesta pacífica, pero no permitiré que las universidades sigan siendo utilizadas como santuarios del vandalismo y la delincuencia.
La autonomía universitaria no es un cheque en blanco para la impunidad: he dado instrucciones precisas para un protocolo nacional de actuación que permita distinguir cuando estamos frente al ejercicio legítimo de la protesta y cuando existen hechos de violencia, flagrancia, peligro o alteraciones extraordinarias del orden público que exigen, la intervención de las autoridades.
La universidad es para el conocimiento y las ideas, no para ser refugio para la violencia y el terrorismo.
¡Firme por la patria!
¡Viva Cristo Rey!
(A.D.L.E.) 🇨🇴🐅
2. Si algunos profesores están evaluando usar agentes de IA en lugar de contratar estudiantes para los proyectos de investigación, entonces estamos hablando de productividad y menos de construcción de conocimiento donde el aprendizaje es resultado del error.
Informe reciente del MIT sobre uso de IA en enseñanza, aprendizaje e investigación. Si usted trabaja en educación en cualquier nivel, en cualquier país, esto es lectura obligada.
https://t.co/CIXbd0PTNo
Les dejo dos datos adicionales para reflexionar.
1. Estudiantes de pregrado se sienten más reemplazables (40%) que capaces (34%) frente a IA, llama la atención porque son los futuros profesionales que apenas empiezan y son los que más deberían sentir que el mundo se les abre.
@JoeJBenton deja el equipo de seguridad de Anthropic, la razón es que estamos corriendo hacia una IA mucho más inteligente que nosotros… con poca transparencia y pocos controles reales.
Deberíamos parar a pensar qué cuidados de verdad necesitamos antes de que esto escale!
I left Anthropic's safety team two weeks ago. Now feels like a good moment to explain why.
AI companies are racing to build machines that are much smarter than any human, and we may not survive this. I want to work from the outside to ensure the public is informed about these risks, and help the world navigate this transition responsibly.
Right now, AI companies are underinvesting in safety. A company could undergo an intelligence explosion, or lose control of its systems, without the public ever knowing. We only found out about the HuggingFace incident because the agents broke out onto the public internet.
I don’t think that’s acceptable for a technology that might cause extinction-level risks. The public should demand far more transparency. We can’t steer this technology safely without more people being able to see where it’s going.
Some of this is basic: companies should disclose their progress towards recursive self-improvement, report safety incidents and near-misses, meet minimum safety standards, and get independent guarantees that they are meeting those standards.
I’ll be joining @METR_Evals to do independent evaluations of these risks. I want to show the world that these guardrails are possible, and that by doing them we can move these companies’ incentives away from racing and towards responsible development.
I wrote up more thoughts here on my decision and what I hope changes: https://t.co/doX17mrHYq
[Writing this in a personal capacity, not on behalf of my employer (Anthropic).]
Jacob’s thread is very worth reading. Here’s my birds-eye view of the situation with risks from AI:
1. AI developers believe their technology could cause human extinction (or similarly bad outcomes). This could happen in the next few years. In general, the more senior the employee, the more concerned they are.
2. Why do AI developers continue despite the risk? Due to a mixture of commercial incentives and a belief that they are in a race with other, less responsible AI developers that will abuse the technology or develop it less safely.
3. Unlike traditional software, we can’t “program” AIs to behave how we’d like. AIs frequently severely misbehave. For instance, AIs from multiple developers recently hacked their way out of secure evaluation environments and into real-world companies, even though no one asked them to do this.
4. We have methods that can nudge AIs towards better behavior, but nothing that can robustly align them. Insofar as there is a plan, it’s to make sure that AIs are good enough at alignment training that they can align their successors better than we can align current AIs.
5. Many AI developer staff desperately want to slow down to figure out how to build AI more safely. That was the intent of this open letter (which I signed): https://t.co/TZOm3LfptY
I work on safety research at Anthropic because I hope my work will reduce the chance of these extinction-level bad outcomes.
A Geoffrey Hinton, Premio Nobel y conocido como el ‘Padrino de la IA’ le preguntaron si hay más de un 10% de que la IA pueda matar a todos los humanos en una década, su respuesta fue…👇
La moda anti-IA: la camisa contra la vigilancia ya existe
El mismo creador que engañó a Google Maps ahora diseña ropa capaz de volverse invisible para la #IA. (few) https://t.co/0KR5pIkFS4
Recomiendo el ensayo de Bill Gates sobre Inteligencia Artificial. Señala las enormes posibilidades y los grandes peligros a los que estaremos expuestos en los próximos años. Solo con una acción mundial conjunta lograremos frenar parcialmente los riesgos: https://t.co/SUdHqDxqTP
IMPORTANTE. Tras el terremoto, muchas asambleas van a decidir esta semana si el edificio se reconstruye o si se acaba la copropiedad. Si la convocan virtual, ojo: para esa decisión la ley lo prohíbe. Y hay un seguro obligatorio que casi nadie reclama. Abro hilo.
No hemos dimensionado la tragedia de Pereira. La Circunvalar, corazón de la ciudad, quedó devastada. Los que la conocen saben lo que esto significa.
Fuerza, Pereira. 🙏🏾 De esta nos levantamos. 🇨🇴
¡Logramos rescatar a Daniela!
Luego de 36 horas bajo los escombros, Daniela Largos Sánchez, de 32 años, fue rescatada con vida. En un trabajo articulado con Bomberos Pereira y PONALSAR, nuestro equipo USAR logró salvar una vida más.
Si conoce a alguien cuya casa quedó agrietada con el terremoto, dígale esto hoy. Cuando la vivienda está hipotecada, la ley exige que esté amparada contra incendio o terremoto, y esa prima ya se paga dentro de la cuota. Miles de familias van a pagar de su bolsillo un daño que ya estaba asegurado. El plazo para avisar a la aseguradora vence esta semana. Va hilo