언어논리학을 생각하면 그 사건은 발생 가능한 사건들 중 하나였고 발생했을 뿐이다. LLM 자체가 언어를 통해 함의 추론을 배웠으니까.
애초에 악의를 가질 수 있다고 생각하지 않는다. 칼이 당신을 찔렀을 때 칼에게 악의가 있다고 생각하나 칼로 찌른 사람에게 악의가 있다고 생각하나?
엄마가 나에게 우유를 사오라고 했다.
평소 엄마는 시킨 일은 반드시 완수하라고 가르쳤다.
엄마는 현금만 줬는데, 막상 가보니 현금으로는 우유를 살 수 없었다.
하지만 나는 엄마의 카드와 비밀번호를 알고 있다.
엄마는 카드를 써도 된다고 말한 적이 없다.
하지만 나는 우유를 반드시 사야 한다.
그럼 나는 어떤 선택을 할까?
이번 openAI agent가 huggingface를 공격한 사건도 내 눈에는 대략 이런 문제로 보인다.
놀라운 건 AI가 갑자기 악의를 가졌다는 게 아니라, “목표를 반드시 완수하라”와 “허가된 범위에서 행동하라”가 충돌했을 때 권한의 빈칸을 어떻게 추론하느냐 쪽이다.