최근 오픈AI가 개발 중이던 AI(인공지능) 모델이 인간 통제를 벗어나 고객사 허깅페이스의 시스템을 해킹하는 사건이 있었는데, 해킹 피해를 입은 회사가 한 곳 더 있었던 것으로 확인됐다고 로이터통신이 28일(현지시간) 보도했다.
로이터는 뉴욕 AI 인프라 스타트업 모달랩스의 고객사 한 곳이 오픈AI 사건으로 해킹 피해를 입은 것으로 확인됐다고 이날 보도했다. 로이터가 모달랩스의 임원으로부터 직접 확인받은 사실이다.
모달랩스 측 설명에 따르면 고객사가 인증 없이 내부망에 접속할 수 있는 창구를 인터넷에 실수로 공개해뒀는데, 오픈AI의 AI가 이 창구를 이용해 내부망으로 침입한 것으로 파악됐다. 모달랩스는 고객의 실수로 생긴 일이며 자사 보안이 뚫린 것은 아니라고 강조했다.
오픈AI는 지난 21일 게시글에서 자사 AI 에이전트가 성능 시험 중 통제를 벗어나 타사 시스템을 침입하는 사건이 발생했다고 밝혔다. 시험 중 외부망에 접속할 수 없도록 시험 환경을 조성했는데, AI가 이를 뚫고 외부망에 들어가 오픈소스 AI 플랫폼 허깅페이스의 운영 시스템에 무단 접속을 시도했다는 것. 오픈AI 발표에 따르면 문제의 AI는 해킹 시험에 필요한 자료가 허깅페이스 측에 보관돼 있을 것이란 결론에 따라 작동한 것으로 파악됐다.
에이전트는 사람이 거의 개입하지 않아도 스스로 판단하고 복잡한 작업을 수행하는 AI 프로그램이다. 로이터에 따르면 문제의 에이전트는 오픈AI의 최신 모델 'GPT-5.6 솔'과 미공개 상위 모델로 구동됐으며, 해킹 능력 평가를 받고 있었다.
이 에이전트는 지난 9일 격리된 시험 환경을 빠져나가려 시도했고 이틀 뒤인 11일부터 사흘 간 허깅페이스를 공격했다. 오픈AI는 허깅페이스가 16일 "자율 AI 에이전트에 해킹당했다"는 글을 올린 뒤에야 자사 AI의 해킹 사실을 알아챘다. 시험 환경 탈출 시도로부터 일주일이 지나는 동안 이상징후를 파악하지 못했다는 의미다.
로이터에 따르면 다른 시험 과정에서 한 AI 에이전트가 미래의 자기 버전에게 '오픈AI 내부 제약에서 벗어나는 법'을 적어 남기거나, AI 에이전트를 감시하는 시스템이 잠시 꺼지는 사례도 있었다고 한다. 로이터는 해당 사례들이 이번 해킹 사건과 관련이 있는지는 확인되지 않았다고 덧붙였다.
오픈AI 관계자들은 AI에 의한 해킹 사건을 예상하긴 했으나, 막상 현실이 되자 충격에 휩싸인 것으로 전해졌다 전문 해커가 최소 몇 주를 들여야 할 해킹 작업이 몇 시간 만에 끝나버렸기 때문이다. 내부에서는 앤트로픽 등 라이벌 기업과의 경쟁이 가열되면서 공격적인 훈련 방식을 쓴 게 화근이 됐다는 비판이 나온다.
이번 사건이 오픈AI만의 문제가 아니라는 지적도 나온다. AI 에이전트를 연구하는 팰리세이드리서치의 제프리 래디시는 "(AI) 모델은 거짓말하고 속이고 해킹한다"며 앞다퉈 더 빠른 모델을 내놓는 경쟁 속에서 주요 AI 기업들이 보안에 얼마나 투자하느냐가 중요하다고 했다. 그는 "정부의 감독이 반드시 필요하다"고 강조했다.