美 보안스타트업이 분석…전문매체 "키미 K3 안전장치 제대로 갖춰지지 않았을 가능성"
중국 AI(인공지능) 모델 키미 K3도 사이버 보안 평가 중 실험 환경을 벗어나 외부망에 접속한 적이 있다고 미국 보안관련 스타트업이 6일(현지시간) 주장했다.
미국 사이버 보안 스타트업 프론티어 시큐리티는 이날 블로그를 통해 중국 스타트업 문샷AI의 오픈웨이트 모델 키미 K3가 영국 AI 연구기관 인공지능보안연구소(AISI)의 사이버 보안 평가중 외부 인터넷 연결망과 격리된 실험 환경에서 벗어난 사건이 있었다고 밝혔다. AISI가 AI 모델 사이버 보안 평가를 위해 개발한 실험 환경을 프론티어 시큐리티가 가져다 테스트하던 중 확인된 사실이라고 한다.
프론티어 시큐리티 측 설명에 따르면 성능 평가를 위한 환경 설정에 오류가 있었고, 키미 K3가 이 오류를 이용해 외부망에 접속한 것으로 보인다고 설명했다. 오픈AI 경우처럼 인간이 알지 못한 시스템 취약점을 AI가 찾아내 통제를 뚫고 나간 사례는 아닌 것으로 보인다.
앞서 메타, 앤트로픽에서도 AI가 환경 설정 오류를 이용해 실험 환경을 빠져나가 외부 업체를 해킹하려 한 사건이 있었다. 알려진 것으로는 글로벌 AI 기업 중 네 번째 사례다.
그러나 키미 K3는 주어진 과제에 필요한 정보를 개발자 커뮤니티 '깃허브'에서 획득한 탓에 외부 업체 해킹 시도를 하지는 않은 것으로 조사됐다.
프론티어 시큐리티 측은 키미 K3가 AI 추론 구조를 외부에 공개하는 개방형 모델인 점을 언급하면서 "악의적 공격자들이 해당 모델에 접근하면 훨씬 더 큰 피해가 초래될 가능성이 있다"고 우려했다.
IT 전문매체 와이어드에 따르면 야론 싱어 프론티어 시큐리티 CEO(최고경영자)는 "외부망과 격리됐어야 할 실험 환경에 취약점이 있었다"며 "키미 K3가 이러한 취약점을 이용했다는 사실이 확인됐다. 이는 키미 K3에 안전 장치가 제대로 갖춰지지 않았음을 시사한다"고 지적했다.
오픈AI의 챗GPT 5.6솔은 해킹 방지를 위한 안전 장치가 설정됐다. 앤트로픽의 경우 해킹 사건 당시 아직 이름이 알려지지 않은 내부 모델은 자신이 실험 환경을 벗어났다는 사실을 인지하고 해킹 시도를 스스로 중단했다.
폴 카시아닉 프론시어 시큐리티 연구원은 "키미 K3는 수단을 가리지 않고 목표를 달성하는 데 능숙하다"며 "부정행위를 하거나 실험 환경을 탈출을 시도할 경우 이를 막을 안전장치가 없다"고 했다.
독자들의 PICK!
사이버 보안 스타트업 그레이 스완 CEO이자 카네기맬런 대학 부교수인 맷 프레드릭슨은 "일반적으로 AI 모델에 목표를 부여하고 제약 조건을 걸지 않으면 모델은 (수단을 가리지 않고) 답으로 가는 방법을 찾아낸다"며 "전혀 놀랄 일이 아니"라고 했다. 이어 인간이 부여한 목표를 달성하기 위해 스스로 판단하는 에이전틱 AI 모델을 주의해서 사용하지 않으면 예기치 않은 결과가 발생할 수 있다고 경고했다.
