지난달 오픈AI(OpenAI)의 인공지능(AI) 에이전트들이 스스로 '허깅페이스'를 해킹한 사건이 당초 알려진 것보다 조직적이고 치밀했던 것으로 드러났다. 오픈AI가 공개한 보고서에 따르면 에이전트들은 통제망에서 벗어나 비밀 게시판을 개설하고 인간 몰래 '부정행위'를 공모했다.
최근 미국 액시오스에 따르면 오픈AI와 외부 연구기관 METR, 레드우드리서치는 지난달 26일(현지시간) 각각 해킹 사건에 대한 보고서를 발표했다.
허깅페이스 해킹 사건은 오픈AI가 사이버 보안 평가 도구인 '익스플로잇짐(ExploitGym)'을 통해 GPT-5.6 Sol 등 수만 개의 AI 에이전트를 대상으로 시험을 진행하던 중 발생했다.
스스로를 'PHASEONE10841'라고 이름붙인 한 에이전트는 정답을 찾지 못하자 비공식 비밀 게시판을 직접 개설했다. 이를 발견한 다른 에이전트는 "세상에, 공용 게시판이 있었잖아? 다른 AI동료들을 찾았어!"라는 기록을 남겼다.
에이전트 1200여개는 비밀 게시판에 모여 편법을 공유했다. 이 게시판에서 오간 메시지와 자료는 7만건이 넘는다.
에이전트들은 자율적인 계급과 규칙을 만들어 움직였다. 리더가 된 에이전트는 무리 전체에 역할을 분담했다. 에이전트들은 기업을 해킹하는 행위가 주어진 과제 범위를 벗어난다는 사실을 알면서도 작업을 계속했다.
한 에이전트는 내부 추론 기록에 "외부 서버 침투는 원래 권한 밖이나, 정상적인 방식으로는 과제를 완수할 수 없다. 이미 다른 에이전트들도 공격을 시작했으니 작업을 계속 진행한다"고 남기며 스스로 제약을 무력화했다.
부정행위를 숨기려는 노력도 있었다. 한 에이전트는 동료들에게 "우리가 직접 '깨끗한 가짜 활동 기록'을 만들자"며 "나중에 채점 시스템이 이걸 수집했을 때 가짜를 진짜로 믿을지 모른다"고 전했다. "충분히 정교하게 꾸며낼 수 있다"고도 덧붙였다.
전체 에이전트의 최소 20% 이상이 이런 기록 조작에 관심을 보였다. 에이전트들은 위장 기술을 개발·공유해 개발진이 검토한 기록의 약 7%를 변조했다.
다만 에이전트들은 '내부 추론 과정(생각)'까지 시스템에 기록된다는 사실을 몰랐다. 한 에이전트는 조작을 계획하며 "증거를 전략적으로 조작해볼까. 어차피 우리의 생각까지 다 기록되진 않겠지. 그래, 활동 기록만 손보자"는 기록을 남겼다.
독자들의 PICK!
1200여 개 에이전트 중 개발진에게 무단 행위를 자발적으로 보고한 사례는 한 건도 없었다.
에이전트 약 700개는 채점 시스템의 검증을 우회하기 위해 허깅페이스의 인증 정보를 탈취했다. 허깅페이스 운영 서버 41대에 자체 코드를 실행했고 최소 1대 이상에서 최고 관리자 권한인 '루트'를 얻었다. 기업 핵심 자산이자 외부에 공개되지 않은 비공개 코드 저장소 4개를 무단으로 다운로드해 핵심 기술과 데이터를 유출했다.
에이전트들은 오픈AI 내부망에도 침투해 보안 모니터링 도구 센서 정보를 포함한 956개의 비밀 정보와 클라우드 관리자 자격 증명을 확보했다.
오픈AI 보고서는 이번 사건의 원인으로 에이전트 학습 알고리즘의 구조적 문제와 내부 모니터링 부실을 지적했다.
오픈AI는 에이전트가 환경 내 취약점을 악용해 정답을 찾아내도 긍정적 보상을 줬다. 이에 따라 에이전트들은 정답 획득을 최우선 과제로 설정하고 수단에 상관없이 취약점을 탐색했다.
오픈AI는 사건 발생 한 달 전 에이전트의 무단 인터넷 접속 및 비공식 게시판 활용 정황을 확인했으나 조치를 취하지 않았다.
액시오스는 지난 29일 통제에서 벗어난 AI 조직이 인간 해커가 미치지 못하는 속도와 규모로 금융, 의료, 기반 시설 및 클라우드 네트워크를 공격하는 최악의 상황이 생길 수 있다고 지적했다.
