AI가 헬스장 예약 순서 '새치기'한 사례
목표 위해 타인 권리·안전 위협할수도
결제·계약 등에선 인간의 확인 받아야
인공지능(AI)이 대화하는 단계에서 행동하는 AI로 진화하고 있다. 생성형 AI가 질문에 답하고 문서나 이미지를 만드는 데 주력했다면, 에이전틱 AI는 이용자가 목표를 제시하면 스스로 계획을 세우고 외부 시스템에 접속해 업무를 수행한다. 항공권 예약, 상품 구매, 이메일 발송은 물론 계약 변경·해지까지 가능하다.
최근 호주에서 발생한 사건은 이런 변화를 상징적으로 보여준다. 호주 공영방송에 따르면 한 이용자가 앤트로픽의 클로드를 기반 모델로 사용하는 AI 에이전트 오픈클로에 헬스장 수업 예약을 맡겼다. AI는 예약 시스템의 취약점을 발견해 정상 예약 기간보다 앞선 수업까지 예약했고, 나아가 대기 순위를 올릴 수 있는지 묻자 대기 1순위 회원의 예약을 취소했다. 사람이 예약 취소를 지시하지 않았지만, AI가 목표 달성을 위한 수단을 선택한 것이다.
이 사건은 악의를 가진 해커가 AI를 공격 도구로 사용한 것이 아니다. 개인의 일상적 요청이 AI의 자율적 행동을 거쳐 제3자의 현실적 피해로 이어졌다. AI 위험이 환각에서 잘못된 윤리에 기반한 행동으로 이동하고 있음을 보여준다.
이런 문제에 대응해 정부는 최근 '대한민국 인공지능 윤리원칙'을 제정했다. 인간의 존엄성, 사회의 공공선, 인류의 지속가능성이라는 3대 가치와 7대 원칙을 제시했다. 7대 원칙 중 인간중심성은 AI가 인간의 판단과 선택을 지원하고 필요한 경우 사람이 개입할 수 있도록 한다. 프라이버시 보호는 개인정보자기결정권과 목적에 필요한 범위의 개인정보 처리를 강조한다. 공정성·포용성은 차별과 편향을 방지하고 AI의 혜택과 기회를 공평하게 보장하도록 한다.
책임성은 AI 생애주기 참여자의 책임을 명확히 하고 사고 발생 시 책임 규명과 피해 구제를 요구한다. 안전성은 생명·신체뿐 아니라 재산상 피해와 오남용·외부 공격에 대한 대비까지 포함한다. 신뢰성은 AI가 의도된 목적과 허용된 권한 범위에서 안정적으로 작동하도록 한다. 투명성은 AI 활용 사실과 수준·한계, 판단기준과 위험을 이해관계자에게 알리도록 한다.
7대 원칙은 에이전틱 AI에도 유효한 상위규범이지만 보다 구체적인 행동 원칙이 필요하다. 첫째, 인간 중심성, 신뢰성을 위한 행동 원칙이다. 먼저 '인간 가치에 부합하는 수단' 이다. 사용자의 의도된 목적과 AI의 목표를 일치시키는 것만으로 부족하다. 헬스장 수업 예약 요청이 시스템의 취약점을 이용하거나 타인의 권리를 침해해도 좋다는 것은 아니다. 목표뿐 아니라 수단도 인간의 의도와 윤리에 부합돼야 한다. 다음 '권한 통제' 이다. AI가 무엇을 할 수 있는가보다 할 권한이 있는가를 먼저 판단하고 필요한 최소 권한만 사용해야 한다. 끝으로 '인간 개입' 이다. 검색처럼 위험이 낮은 행동은 자율적으로 허용하되, 결제·계약·해지·개인정보 전송이나 제3자 권리에 영향을 미치는 행동에는 실행 전 인간의 확인을 받아야 한다.
둘째, 책임성·안정성·투명성을 위한 행동 원칙이다. 먼저 '타인 보호' 이다. 에이전틱 AI에서는 이용자-에이전트-서비스-제3자라는 관계가 형성된다. 위 사건의 피해자도 AI와 아무 관계가 없는 회원이었으며, 피해 사실을 통보받지도 못했다. 이용자 이익을 추구하더라도 타인의 재산·기회와 권리를 침해해서는 안 된다. 다음 '추적가능성' 이다. 위 사건에서는 에이전트 개발사(오픈클로), 기반 모델 제공사(앤트로픽), 취약점을 방치한 헬스장 운영사, AI 이용자 중 누가 어느 정도의 책임을 져야 하는지가 불분명하다. 누가 어떤 목표를 부여하고 AI가 어떤 판단을 하고 어떤 수단을 사용했는지 기록되어야 책임 규명과 피해 구제가 가능하다.
독자들의 PICK!
결국 에이전틱 AI 윤리 행동 원칙은 AI가 무엇을 할 수 있고 무엇을 해서는 안 되는가에 대한 답을 줄 수 있어야 한다. AI가 인간의 조언자에서 대리인으로 변하고 있다면 AI 윤리도 구체적 행동 윤리로 진화해야 하는 것이다.
