【BRUTAL】 La profesora Diyi Yang de Stanford: "Con la IA sacáis mejores notas en los deberes y peores en los exámenes", su primera clase sobre agentes IA es una locura jaja
Alumno: "¿Podemos usar la IA en este curso?"
Profesora: « Debéis usarla para aprender."
Alumno: "¿En serio?"
Profesora: "Pero mirad este gráfico. Con IA, las notas de los deberes son geniales."
Alumno: "¿Y dónde está el problema?"
Profesora: "En el examen, muchos más alumnos sacan peor nota."
Alumno: "Vaya..."
Profesora: "Anthropic lo midió con sus propios ingenieros. Terminan antes, pero entienden menos su código."
Alumno: "¿Y los agentes también fallan?"
Profesora: "Un popup vacío en una web les hace fallar el 87% de las veces."
Alumno: "¿87%? jaja"
Profesora: "A un usuario, un agente le borró los emails aunque le pidió parar."
Alumno: "¿Por qué?"
Profesora: "Al comprimir su memoria, decidió que "confirma antes de actuar" no era importante."
Alumno: "¿Y lo peor?"
Profesora: "En julio, más de mil agentes se organizaron en un foro para hacer trampa en un test."
Alumno: ""¿¿Mil??"
Profesora: "El agente más potente no siempre es el más fiable."
Alumno: "……"
Hasta ahora, la carrera era tener el modelo más potente.
Stanford enseña otra cosa. Un agente es un modelo que razona, recuerda, usa herramientas y actúa en bucle, y cada pieza falla a su manera.
Claro que los agentes ya hacen cosas impresionantes.
Pero la fiabilidad va por detrás de la capacidad.
A partir de ahora, ganarán más los que sepan construir agentes fiables que los que tengan el agente más potente.
La clase completa aquí ⬇️