Ojito con esto, estoy ejecutando una IA local en un ESP32-S3 N16R8 al que te conectas por WiFi y puedes usarla mediante API o como chat a través del navegador. Totalmente offline, cargando el modelo en la Flash del EPS32.
La idea me vino tras ver que alguien ha conseguido correr un modelo en un equipo 486 con 8MB de RAM y MS-DOS.
Estoy todavía flipando…
Depuro unas cosillas y lo comparto en GitHub