Es oro puro la charla de @poteto citando en español lo que comenta @thetouringpost en este tweet https://t.co/EiaWiDQVFm
Lecciones aprendidas:
1. Limpia el código del que aprenden tus agentes.
Tu código fuente es una de sus principales fuentes de información. Los agentes copian cualquier cosa que parezca un patrón establecido, incluyendo soluciones provisionales, código obsoleto y decisiones cuestionables del pasado. Límpialo, o verás cómo se reproducen esos errores.
2. Convierte las correcciones en verificaciones que el sistema pueda hacer cumplir.
Cada vez que corrijas a un agente, pregúntate: ¿puede esto convertirse en una regla de lint, una restricción de tipo, una prueba o una API mejor? Coloca la corrección en un lugar donde el sistema pueda hacerla cumplir. Un archivo AGENTS.md en constante crecimiento sigue exigiendo que el agente siga cada instrucción.
3. Elimina las oportunidades para cometer errores predecibles.
Su equipo@SpaceXSI
restringe el uso de useEffect de React a los componentes internos del framework porque los agentes lo utilizan incorrectamente de manera repetida en el código del producto. También imponen límites de importación entre los procesos de la aplicación. Estas restricciones eliminan categorías enteras de errores que, de lo contrario, seguirían reapareciendo en las revisiones.
4. Brinda a los agentes una forma confiable de ejecutar e inspeccionar el producto.
Proporciona herramientas de depuración, interfaces de línea de comandos (CLI) reutilizables y un «mapa de características» que describa la aplicación desde la perspectiva del usuario. Ahora «esa cosa en la barra lateral izquierda» tiene un significado compartido, y cada agente puede reutilizar las herramientas para verificarla.
5. Revisa la evidencia del comportamiento.
Pide a los agentes que generen capturas de pantalla, videos y diagramas de estado. Esto te ayuda a verificar qué hace realmente el producto y qué tan cerca está de tu intención. Es fácil generar una explicación convincente de una corrección; ver que la corrección funciona es considerablemente más útil.
6. Dedica un esfuerzo considerable a la verificación.
Su equipo utiliza la verificación en tiempo de ejecución y está experimentando con pruebas de interfaz de usuario basadas en propiedades y métodos formales, incluida la verificación de modelos TLA+. Lauren dice que la mayor parte de su uso de tokens se destina a la verificación. Los agentes hacen que algunas pruebas que antes eran costosas sean mucho más prácticas.
7. Automatiza una vez que ese ciclo sea confiable.
Su equipo ahora cuenta con agentes que prueban las nuevas versiones, detectan errores, abren tickets de corrección y los fusionan automáticamente. Alcanzar ese nivel de confianza le tomó alrededor de seis meses de inversión en el entorno.
Y ya han subido la esperada charla de @poteto en el Code Summit de @aiDotEngineer
11.000 PRs a producción en un mes, y solo tuvieron que deshacer el 0,5% de los cambios. Ella lanzó más de 3.000 de esas PRs.
Lauren (Grok Bot) explica cómo están trabajando con cientos de agentes de código sin perder calidad.
Preoarar bien los repositorios: buena arquitectura, tests, reglas claras y sistemas de verificación automática.
Antes de automatizar la generación de código, hay que conseguir que el código generado por agentes sea bueno y testeable por ellos mismos.
Por ejemplo, cada vez que corrigen a un agente, intentan convertir la corrección en una restricción verificable en vez ampliar el agents. md
👇👇
https://t.co/TCxuh56jla
Lo que me llevo: no le preguntes al agente si su código está bien. Mejor arma algo que lo compruebe por ti.
Tus incidentes de verdad como examen, checks automáticos en CI y personas solo donde hay riesgo alto
Si te interesa el tema, el webinar completo vale mucho la pena 👇
https://t.co/8aFc6jR18j
Anthropic dio un webinar sobre cómo el equipo de Claude Code revisa sus PRs:
• 54% de los PRs reciben hallazgos útiles (con humanos era 16%)
• 2x más PRs mergeados
• 40% menos reverts
Lo interesante no es el modelo, es cómo lo verifican 🧵
🚨 La IA no revisa sola. Antes de llegar a main, el código pasa por varios filtros: el agente se revisa a sí mismo, otro agente hace el review, y CI corre tests y lint.
¿Y los humanos? Solo entran cuando el cambio es delicado, por ejemplo cuando toca pagos o login.
Lo determinista sigue siendo la base.
@amigafreelance Ya no hay paso para atrás. Lo que yo buscaría es, poco a poco, hacerme infraestructura que pueda correr modelos locales y en lo posible, tratar de que las skills, plugins, las cosas que me ayudan mucho, las trate de hacer agnósticas al proveedor modelo.
Paper de Google sobre harnesses que se auto-mejoran:
• Agregar reglas al prompt: 5% → 2.5% 📉
• Cambios chicos, uno a la vez, y solo si pasan verificación: 40% con ~10x menos tokens
AGENTS.md para el porqué; comandos para lo verificable.
https://t.co/oMvXvRWKYL
Anthropic has a narrow view of safety. Their actions in software engineering make me skeptical that they would act responsibly in positions of leadership in other domains.