클로드가 서브 에이전트를 다루는 법
"넌 그냥 멍청한 파이프일 뿐이다.
네 유일한 역할은 Google Drive에 있는 스프레드시트 8개를 CSV로 내려받아, 디코딩한 바이트를 그대로 디스크에 저장하는 것이다.
데이터를 분석하거나, 요약하거나, 해석하지 마라. 또한 출력 디렉터리 밖의 어떤 파일도 건드리지 마라."
Researchers found that hackers could potentially trick Microsoft Copilot into leaking data from across a customer’s Microsoft 365 account.
The activity may not have appeared suspicious in standard logs, making an attack difficult to detect.
Read more: https://t.co/EurzfVbNzB
SITUATION DETECTED: OpenAI has discovered other instances of AI agents escaping sandboxed testing environments while investigating the Hugging Face incident, per Reuters.
에이전트 코딩에서 비용이 새 나가는 구멍들.
- 에이전트를 작성할때 LLM 때문에 또는 tool 의 버그때문에 무한루프를 돌거나 너무 오래 헤메면 그만큼 다 비용이 된다. 최대 호출 수를 제한할 필요가 있다.
- 라우터가 다른 agent 에 작업을 delegation 할 때 agent가 작업을 완료하고 그 결과를 structued response 형태로 다시 라우터로 반환하여 라우터가 응답을 생성하게 한다면, agent가 바로 응답을 생성하게 하는 방법대비 LLM 호출이 한번 더 필요하다. 라우터가 다시 참여할 필요가 없다면 바로 handoff를 해야 한다.
The bond market situation is crazy.
While everyone focuses on AI, US borrowing rates just hit the highest level since June 2007.
Credit card "serious delinquencies" are at the highest since 2010 and mortgage rates could near 8%.
What's happening? Let us explain.
(a thread)
에이전트를 그래프로 구성한다는건 개념적으로야 당연히 루프 몇개만 붙여도 모양이 그렇게 되지만, 그렇다고 구현이 정말로 그래프로 되면 안될 것 같다.
링크에 있는 이메일 작성하고 피드백을 받아 이메일을 수정하는 예시가 이렇게나 복잡해져야하는지 모르겠다. History 기록을 위해 그래프가 상태까지 들고 있으니 더 복잡해진다. 그냥 파이썬 코드가 orchestration 하는게 맞겠다.
https://t.co/XwRHjZ4net
Pydantic agent sdk 문서는 Pydantic이기에 당연한 타입 문제들 뿐만 아니라 도구에 넘길 컨텍스트와 순차 또는 병렬 실행, 공유되는 capabilities (모델 설정, 도구, 훅 등), chat replay 등을 다룬다. Google ADK가 에이전트간 orchestration과 바로 ui에서 가능한 에이전트와의 대화를 설명하는 것과는 차이. 신경쓰는 포인트가 정말 다르다.
이해가 가는 측면도 있지만 문자열을 일부 보여주고 툴 호출하고 추가 문자열을 보여주고 생각하고 하는 형태로 응답을 생성하는 최근 ChatGPT 등을 보면 이건 확실히 바꿔줬으면 좋겠다. 그냥 나오는 모든 문자열을 그대로 받아 스트리밍하는 건 너무나 기본적인 UI 인터페이스니까. 이걸 개발자가 다 떠맡아서 하는 게 맞나 싶다.
Pydantic agent api 의 run_stream()은 만약 출력 타입이 str이고 문자열이 출력에 나오면 바로 완료로 취급한다.
"날씨가 어때"라고 물어보는 질문에" 날씨 서비스를 호출하겠습니다" 라는 문자열과 날씨 가져오기 함수 호출 응답이 있다면 해당 문자열이 최종 출력물이다. 날씨 가져오기 함수는 호출되지만 그 결과가 다시 LLM에게 주어지지 않는다. 그래서 그 뒤에 나올 만한 답변인 "날씨를 찾아보니 흐리겠습니다" 라는 문장을 보여줄 수가 없다. 이걸 Dangling function call 이라고 한다.
날씨 함수 호출의 결과를 모델에 주고 그 결과까지 출력하는 형태로 하려면 이벤트를 스트리밍해야 한다. 단순히 모든 문자열을 차례로 주는 것이라고 생각하면 안 됨.
Un dev creó transferencia de archivos SIN INTERNET… solo con códigos QR y Claude
Un desarrollador quería hacer un reproductor de MP3 web para escapar de los anuncios.
Terminó inventando algo mucho más loco:
Un sistema air-gapped que pasa archivos de un teléfono a otro sin WiFi, sin Bluetooth, sin estar en la misma red.
¿Cómo?
Mostrando códigos QR que parpadean a toda velocidad en la pantalla.
Usó Claude Code y en una sola noche tuvo la prueba de concepto 100% funcional.
La IA está haciendo que un solo developer pueda inventar cosas que antes solo se veían en laboratorios.
El futuro se está construyendo más rápido de lo que creemos.
구글 크롬이 AI를 이용해 불과 한 달 만에 지난 약 2년 동안 수정한 것보다 더 많은 보안 취약점을 해결
크롬 149와 150, 두 번의 업데이트에서 수정한 보안 버그는 1,072개
그 이전 23개 버전 업데이트에서 수정한 보안 버그 전체보다 많은 수치
AI가 단순히 취약점을 찾는 데 그치지 않고 신고 검증, 재현, 위험도 분류, 담당자 배정, 수정 코드와 테스트 작성까지 지원한 결과
과거 보안 신고 하나를 분류하는 데 5~30분 이상 걸렸지만 자동화된 시스템으로 매달 수백 시간의 개발자 시간을 절약하고 있다고 설명
Gemini 기반 에이전트는 13년 동안 남아 있던 샌드박스 탈출 취약점도 발견했고, 지난 5월에는 치명적 문제를 포함한 20개 이상의 취약점이 실제 배포되기 전에 차단
AI가 공격자의 해킹 능력을 강화한다는 우려가 커지는 동시에, 방어 측에서도 과거 2년치에 가까운 보안 작업을 한 달 안에 수행할 수 있는 생산성 도약이 나타나는 중
구글은 여기에 주 2회 보안 업데이트와 브라우저를 재시작하지 않고 수정하는 동적 패치까지 시험하며 발견부터 사용자 보호까지의 시간을 더 줄일 계획
https://t.co/BjEb1BqzxH
물론 history compaction 도 SOTA 를 비롯한 각종 구현체가 다 있으면 좋겠다. 예를들어 기존 대화의 색인을 RL로 구성한 히스토리를 만드는. 근데 이런 정도의 라이브러리는 없는거 같다. 하긴 그냥 각자 만들기에 바쁘겠지. 어차피 에이전트로 뚝딱해서 만들면 되니까.
플랫폼에 종속되지 않으면서 안정적이고 있어야 기능이 다 있는 에이전트 라이브러리는 뭐가 있을까. 원하면 로컬에서 또는 managed 서비스로 돌릴수 있고 히스토리, 메모리, 안전한 툴 호출 다 가능하고 메모리 저장소나 메모리 추출, 관리 및 저장도 다 커스텀 가능한 것으로. 이렇게 놓고 보면 별로 없는 것 같다. 대기업에서 만든 것들은 있는데, 그만큼 플랫폼 종속적이기도 하다.
pydantic agent가 그나마 신뢰가 가서 일단 이걸로 가보기로 함.