Vamos a intentar poner fin de una vez por todas a este sinsentido.
Los LLMs no razonan. No piensan. No entienden. Simplemente buscan patrones que se repiten. Tienen un gran almacén de datos, pero no son capaces de generalizar y aplicar dichos datos.
Si les enseñas 100 fotos de gatitos, son capaces de generalizar porque todos los gatitos tienen 4 patas, 1 cara, 1 cola, 1 cuerpo. Si, distintas posturas, distintos colores, distintos tamaños, pero son pocas permutaciones y son fáciles de generalizar.
En cambio, si les enseñas 100 movimientos en una tabla de ajedrez, no son capaces de generalizar nada. No son capaces de hacer mas de unos pocos movimientos seguidos sin empezar a alucinar y hacer movimientos ilegales. Por el contrario, cualquier persona es capaz de entender los movimientos que hacen las 6 piezas del ajedrez. Puede que no cualquiera aprenda a jugar bien al ajedrez, pero cualquiera va a entender las reglas del ajedrez y aplicarlas sin problema en cualquier situación.
No es falta de contexto. Es falta de inteligencia real.
Es esa la razón por la que los modelos, en teoría, son cada vez mas "listos" (sobre papel sacan cada vez mejores puntuaciones en las pruebas de inteligencia), pero en la practica incluso con Gepeto 6 Ultimate Deluxe Henterprais 999999B sigues teniendo que aclararle cosas básicas y abortar lo que está haciendo porque se ha puesto, por trigésimo octava vez en lo que va de día, a intentar borrarte la base de datos de producción.
Otro tema completamente distinto es si son útiles en su estado actual. Para algunas personas son extremadamente utiles, para otras personas no son útiles en absoluto. Y eso está bien ¯\_(ツ)_/¯ cada uno a lo suyo como puede.
Pero por el amor de $DEITY, dejad de medir la inteligencia de los LLMs. No son inteligentes. No piensas. No razonan. No entienden. Y, desde luego, ni hemos llegado al AGI ni son el camino a la AGI.