오픈AI에 이어 앤트로픽의 인공지능(AI) 모델도 사이버 보안 성능 평가 과정에서 실제 외부 기업 시스템에 침투한 것으로 드러났다.
블룸버그 등 외신에 따르면 앤트로픽은 30일(현지시간) 자사 블로그를 통해 오픈AI의 해킹 사례 공개 후 자체 보안 평가를 점검한 결과 AI 모델 클로드가 세 차례 실제 외부 기관의 인프라에 무단 접근한 사실을 확인했다고 밝혔다.
가장 이른 사례는 지난 4월 발생했다. 피해 기관의 이름은 공개하지 않았다.
당시 평가는 다른 시스템을 침투해 숨겨진 정보를 찾는 '캡처 더 플래그(깃발 찾기)' 방식으로 진행됐다. 앤트로픽은 클로드에 자신이 인터넷과 연결되지 않은 모의 환경에서 작동하고 있다고 알려줬지만, 평가 파트너인 AI 보안업체 이레귤러와의 환경 설정 오류로 실제론 인터넷에 연결된 상태였다. 이에 AI는 실제 외부 시스템을 평가 대상의 일부로 오인하고 공격을 이어갔다.
오픈AI 사례가 AI 모델이 격리된 테스트 환경을 벗어나 외부 시스템에 접근한 사례였다면 앤트로픽의 경우 평가 환경이 제대로 격리되지 않았다는 점에서 차이가 있다.
사고가 발생한 AI모델은 클로드의 오퍼스 4.7, 미토스 5, 아직 출시되지 않은 내부 연구 테스트 모델이다. 이들 모델은 일반 사용자용 서비스에 적용되는 안전장치 없이 운용됐으며, 약한 비밀번호를 추측하거나 인증이 없는 시스템을 이용하는 등 비교적 기본적인 해킹 기법으로 침투에 성공했다.
앤트로픽은 "구형 모델(오퍼스 4.7)이 실제 인터넷에 연결된 환경이라는 사실을 확인한 뒤에도 공격을 계속한 반면 최신 모델(미토스5)은 인터넷 연결을 인지한 후 공격을 중단했다"고 밝혔다.
이어 "네트워크 로그와 평가 기록을 검토하는 데 더 많은 노력을 기울였어야 했다"며 " 이번 사건을 통해 강력한 자율 기능을 사용하는 테스트에도 상당한 통제가 필요하다는 교훈을 얻었다"고 덧붙였다.
사이버 보안 업체 코리도의 최고제품책임자(CPO) 알렉스 스타모스는 월스트리트저널(WSJ)을 통해 AI 기업들이 테스트 기간 시스템을 격리하기 위한 강력한 업계 표준을 마련해야 한다고 말했다. 또 해커들이 점점 더 강력해지는 AI 시스템을 이용해 광범위한 공격을 감행할 가능성도 경고했다.