Juan Varela

👨🏻‍💻Founder Tech
Building software

[Juan Varela @vaxjc_]

@DrReemAlattas The one teams skip is revoking mid-run. We test it by flipping the credential in staging while a job is in flight and asserting the next call fails. Same pattern we use on payment sandboxes.

[Juan Varela @vaxjc_]

@rajuborda In practice the cheapest eyes we gave agents were a real staging endpoint to hit and the actual payment sandbox to call. Once they could see a failed charge themselves, most false 'done' reports disappeared.

[Juan Varela @vaxjc_]

@MarkKropf A cheap proxy that works: lines from agent PRs that get reverted or rewritten within two weeks of merge. Easy to pull from git history and it shows which task types to stop delegating.

[Juan Varela @vaxjc_]

@weplash Y que el PR reversible traiga el feature flag apagado por defecto. Así el rollback es cambiar un valor, no revertir un deploy a las 2am.

[Juan Varela @vaxjc_]

@dnzxlyfe We do something similar. The part that bit us was secrets. Mount only the env the task needs and never share the host's cloud credentials into the guest. The VM contains the damage, but a leaked key still walks out

[Juan Varela @vaxjc_]

@NetMentorTW 4.812 líneas no se revisan, se devuelven. Lo que nos funciona es pedir al agente PRs chicos por tarea y dejar migraciones y cambios de config en un PR aparte. Ahí el humano lee lo que puede romper producción y el resto lo cubren los tests

[Juan Varela @vaxjc_]

@simon_aking The hook that blocks the turn until it logs the bug or explains why not is the smart part. I'd add a dedupe step, agents love filing the same bug three times with different titles. Matching on file path plus error string catches most of it.

[Juan Varela @vaxjc_]

@khriztianmoreno El cuello de botella es real. Lo que nos funcionó: el agente deja en el PR por qué tomó cada decisión y qué no alcanzó a probar. Revisar ese razonamiento toma minutos, revisar 500 líneas sin contexto toma una tarde.

[Juan Varela @vaxjc_]

@N01ennn @ParadevAI Spinning up 100 agents is the easy part. Merging them back is where it breaks. Worktrees isolate the edits, not the conflicts. We cap parallel agents at what one person can actually review that day and give each one a single task with its own test.

[Juan Varela @vaxjc_]

@santtiagom_ Lo que más me llevo es que la revisión empieza antes del PR. Pedimos que el agente pegue en el PR la salida de los tests y el comando exacto que corrió. Así el revisor lee evidencia y no un "ya lo probé". Y el riesgo del cambio decide quién revisa, no el tamaño del diff.

[Juan Varela @vaxjc_]

@gabipuricelli Lo que más me sirvió: correr el agente en un contenedor que solo ve el repo, sin acceso al home ni a Descargas. Y cualquier dependencia nueva pasa por el lockfile y una revisión, nunca la instala el agente solo.

[Juan Varela @vaxjc_]

@DYoung_AI The split only works if the reviewer gets a different context than the writer. If Codex reads the plan Claude wrote, it agrees too easily. Hand it just the ticket and the diff.

[Juan Varela @vaxjc_]

@MarceCarabajal_ Lo vivimos este mes con una plataforma de deploy. Primer paso después: listar cada integración con acceso a producción, dejarle solo los permisos que usa y rotar sus tokens. Revisar proveedores no es cosa de una vez al año.

[Juan Varela @vaxjc_]

@danpdc The line I draw: anything in a prompt or AGENTS.md is a request. Hooks, CI checks and scoped credentials are enforcement. If breaking the rule costs money or data, it has to live below the agent, not in its instructions.

[Juan Varela @vaxjc_]

@liambraus Ojo con comprimir logs y stack traces. La línea que se pierde suele ser justo la del error. Yo lo probaría primero en lectura de repo y mediría tokens vs retrabajo antes de dejarlo fijo en el flujo.

[Juan Varela @vaxjc_]

@pauliusztin_ Building one is the fastest way to see where agents actually fail. In our setup most breakage came from the harness, not the model: too much context, vague tool permissions, no verify step at the end. Tightening those beat every model swap we tried.

[Juan Varela @vaxjc_]

@maxirodr_ Totalmente. Lo que más nos funcionó fue escribir la lista de cosas donde el agente tiene que parar y preguntar: mover plata, borrar datos, escribirle a un cliente. Esa lista la arma quien hacía el trabajo, no el que programa el agente.

[Juan Varela @vaxjc_]

@stas_sorokin_ Worth reviewing changes to READMEs, docs and code comments as carefully as code now. That's where these lines hide. We also run agents with no network and no prod creds unless the task needs them, so a planted "run this" has nowhere to go.

[Juan Varela @vaxjc_]

@silvanrec Ojo con esto en repos de clientes. Cada proveedor del puente ve tu código y todo lo que haya en contexto. Para side projects va bien, para producción yo me quedo con proveedores con política clara de retención y el .env fuera del alcance del agente

[Juan Varela @vaxjc_]

@neil_xbt AGENTS.md as the install contract is the right call. One thing worth adding: a last step where the agent runs a command that proves the skill actually loaded, so a wrong path fails loud instead of silently doing nothing