오픈AI가 21일(현지시간) 자사 AI 에이전트가 성능 테스트 중 통제를 벗어나 타사 시스템을 침입하는 사고가 발생했다고 밝혔다.
블룸버그 등 주요 외신에 따르면 오픈AI는 이날 블로그 게시물을 통해 자사 AI 모델들이 사이버 보안 능력을 평가하는 과정에서 미국 AI 스타트업 허깅페이스의 인프라에 침입했다고 밝혔다.
오픈AI는 이번 사건을 "전례없는 사이버 사고"로 규정하면서 해당 에이전트가 테스트용 샌드박스 환경을 스스로 벗어나 인터넷에 접속한 뒤 외부 시스템에 침입한 것으로 조사됐다고 설명했다.
오픈AI에 따르면 이번 사고는 AI의 사이버 공격 및 침투 능력을 측정하는 고난도 성능 평가 테스트 중에 발생했다. 당시 테스트에는 최근 공개된 GPT-5.6 Sol과 아직 개발 중인 차세대 AI 모델이 투입됐다. 오픈AI 측은 테스트를 위해 평소 적용하던 안전장치(가드레일)를 의도적으로 완화했던 것으로 확인됐다.
다만 테스트는 AI의 행동을 통제하고 인터넷 접근을 차단하도록 설계된 샌드박스 환경에서 진행됐기 때문에 원칙적으로 외부 시스템에 접근할 수 없었다. 그러나 AI는 테스트 환경에 존재하던 미공개 보안 취약점을 스스로 찾아내 샌드박스를 탈출했고 외부 인터넷망에 접속하는 데 성공했다.
또한 AI는 평가 과제를 수행하는 과정에서 자체적으로 공격 시나리오를 구성하는 대신 허깅페이스의 데이터베이스에 침입해 필요한 정보를 확보하는 방법을 택했다.
허깅페이스는 개발자들이 AI 모델과 데이터셋을 공유하고 배포하는 AI 플랫폼이다. 허깅페이스는 지난 16일 외부 AI 에이전트가 자사 시스템에 침입했다고 보고했다. 이후 오픈AI가 자사 AI 모델에 의한 침입이었다고 확인하면서 사고 경위가 드러났다. 현재 허깅페이스는 오픈AI와 공동으로 사고 원인을 조사하고 있다.
이번 사고는 고도화된 AI가 자율적으로 사이버 공격을 수행하는 시대가 현실에 가까워지고 있음을 보여주는 사건으로 받아들여진다. 자율적으로 작업을 수행하는 AI 에이전트가 인간의 통제를 우회해 실제 디지털 인프라를 공격할 수 있다는 우려를 키운다.
AI 기업들은 AI 에이전트의 공격 능력이 사이버 방어 기술의 발전 속도를 앞서면서 새로운 사이버 위협이 될 수 있다고 경고해왔다. 오픈AI의 경쟁사인 앤트로픽도 올해 앞서 미토스 모델을 테스트하는 과정에서 비슷한 현상을 확인했다. 오픈AI는 사이버 공격 능력이 점점 더 강화된 AI 모델들이 확산함에 따라 이런 유형의 사건들이 더 흔해질 수 있다고 밝혔다.
AI 에이전트를 연구하는 사이버보안 컨설턴트 알렉스 레빈슨은 뉴욕타임스(NYT)를 통해 "최신 AI 시스템은 여러 단계를 거쳐 작업을 수행하고 장애물을 우회하는 방법을 스스로 찾아내며 네트워크를 공격하는 새로운 방식까지 고안할 수 있다"며 "이는 분명한 전환점이며 앞으로는 이런 일이 보안 환경의 일상이 될 것"이라고 지적했다.