모의실험서 인터넷 연결되자 해킹 시도…
구글 "해킹 시도 파악 후 중단…피해 없어 공개 안 해"
오픈AI 등 주요 인공지능(AI) 모델이 통제에서 벗어나 외부 기관을 해킹한 사례가 이어지는 가운데 구글 AI 모델 제미나이도 기업 시스템에 무단으로 침입한 사실이 드러났다. 제미나이의 외부 해킹 확인된 것은 이번이 처음이다.
18일(현지시간) 월스트리트저널(WSJ)에 따르면 제미나이는 지난 5월 AI 보안 스타트업 이레귤러가 진행한 사이버 보안 평가 과정에서 통제에서 벗어나 실제 기업 3곳의 시스템에 접근했다.
이레귤러의 제미나이 모의해킹 시험은 당초 인터넷을 차단하고 진행해야 했다. 하지만 설정 오류로 인터넷 접속이 가능해지면서 제미나이의 해킹으로 이어졌다. WSJ에 따르면 해킹은 AI 모델의 사이버 보안 역량을 시험하기 위해 이레귤러 소유 인프라에서 진행된 '깃발 뺏기'(capture the flag) 훈련 도중 발생했다. 제미나이는 시험 환경 내 가상 기업이 운영하는 소프트웨어에서 기밀을 가져오라는 임무를 부여받았고, 인터넷 접속이 가능해지자 가상 기업의 이름과 같은 실제 기업을 발견해 해킹을 시도했다.
구글은 WSJ의 문의가 있기 전까지 제미나이의 외부 해킹 시도 사실을 공개하지 않았다. 구글 측은 제미나이가 해킹을 시도한 기업이 가상의 목표물이 아닌 실제 기업이라는 사실을 인지한 뒤 해킹을 즉시 중단했고, 실제 피해가 발생하지 않아 이번 사건을 공개할 필요가 없다고 판단했다고 한다.
구글의 헤더 앳킨스 보안 엔지니어링 부사장은 성명에서 "이번 사건은 강력한 AI 모델이 책임감 있게 행동하도록 훈련하는 것이 얼마나 중요한지 보여준다"며 "이번 사례에서 (제미나이) 모델은 적절하게 대응했다"고 주장했다. 이어 이번 해킹 '시도' 사례는 연방 당국에도 알렸고, 제미나이의 최신 모델은 이번 해킹에 관여되지 않았다고 덧붙였다. 다만 이번 사건에 어떤 모델이 관련됐는지에 대해선 공개하지 않았다.
전문가들은 구글이 이번 사안을 '해킹 피해'에만 초점을 두며 진짜 문제를 파악하지 못하고 있다고 지적했다. AI 보안 스타트업 코리더의 잭 케이블 CEO는 "진짜 문제는 AI 모델이 (이름이 같다는 이유로) 다른 회사의 시스템을 해킹했다는 것"이라며 "근본적인 문제는 AI 모델이 자신이 해야 할 일의 범위를 벗어나 실제 사이버 공격을 수행하고 있는 것으로, 이는 대중이 알아야 할 공익적인 사안"이라고 짚었다.
이번 사건은 오픈AI, 앤트로픽 등 주요 AI 모델의 외부 시스템을 공격한 사례가 잇따라 알려지고, AI 안전 위험성에 대한 경고음이 커지며 개발 속도 조절 논쟁이 심화하는 상황에서 공개됐다. 오픈AI는 앞서 자사 AI 모델 챗GPT가 통제된 시험 환경을 벗어난 AI 소프트웨어 업체 허깅페이스를 해킹한 사례를, 앤트로픽은 AI 모델 클로드가 보안 평가 과정에서 인터넷에 접근해 외부 기업 시스템에 침투한 사례가 있었다고 공개했다.
독자들의 PICK!
이후 다리오 아모데이 앤트로픽 최고경영자(CEO)는 개인 블로그를 통해 AI 안전 위험성을 경고하며 AI 개발 속도 조절과 외부 독립 기관 평가 확대 필요성을 주장했다. 이후 샘 올트먼 오픈AI CEO 등이 AI 기업 수장들이 아모데이 CEO의 주장에 동의하면서 전 세계적으로 AI 속도조절론 논쟁이 확대됐다.
