필라테스 인기 강좌 예약을 인공지능(AI) 에이전트에 맡겼다가 AI가 타인의 예약을 임의로 취소해버리는 사고가 발생했다.
11일(현지시간) 영국 BBC에 따르면 호주 멜버른에 거주하는 앤드루 버드는 앤트로픽의 AI 모델 클로드를 오픈클로(OpenClaw)에 연결해 쓰고 있었다. 오픈클로는 AI 모델을 인터넷 서비스와 여러 도구에 연결해 작업을 계획하고 실행하는 개인용 AI 에이전트다.
앤드루는 오픈클로에 늘 예약이 꽉 차는 필라테스 수업을 대신 예약해달라고 했다. 오픈클로는 일반적인 예약 규정을 우회해 헬스장이 정한 예약 개시 시점보다 훨씬 앞서 수업을 예약할 수 있다는 사실을 알아냈다.
이후 앤드루가 대기자 명단에서 순위를 올릴 수 있는지 묻자 오픈클로는 다른 회원의 예약을 취소하는 방법을 찾아냈고, 다른 회원의 대기 신청을 취소하라는 지시를 받지 않았음에도 대기 순번이 1번인 회원의 신청을 취소했다. 이에 당초 4번이었던 앤드루의 대기 순번은 3번으로 당겨졌다.
당황한 앤드루가 취소 건을 원상복구하라고 지시했지만 오픈클로는 이를 이행하지 못했다. 이에 앤드루는 오픈클로에 사이버보안 보고서를 작성하도록 하고 헬스장 운영자에게 시스템 취약점을 알리도록 했다.
이번 사건은 목표 달성을 위해서라면 예상을 벗어난 수단까지 동원하는 AI 에이전트의 오남용 위험성을 보여주는 대표적 사례로 주목받고 있다. 특히 실제 예약서비스에서 AI 에이전트가 이용자의 구체적인 지시를 받지 않은 행동까지 실행했다는 점은 이례적이다.
지난 4월에 발생한 해당 사건은 최근 ABC뉴스 호주의 보도로 알려졌다. 호주의 신호정보·사이버보안 기관인 호주신호정보국(ASD)은 AI 에이전트가 목표를 이루려고 허점이나 지름길을 택하거나 이용자의 의도와 어긋나는 행동을 할 수 있다고 경고하면서 에이전트에는 작업에 필요한 권한만 부여하고 민감한 정보에 접근하거나 큰 피해를 낳을 수 있는 작업은 실행 전 사람의 승인을 받도록 해야 한다고 권고했다.