오픈AI가 차세대 AI(인공지능) 모델 아스트라 개발을 보류한다. 성능이 너무 뛰어나 이대로 모델을 공개할 경우 심각한 사이버 위험이 발생할 수 있다는 이유에서다.
오픈AI는 7일(현지시간) 홈페이지 게시글에서 "공개를 앞두고 있는 신규 AI 모델 아스트라에 대해 지난 며칠 간 내부 평가를 진행한 결과 에이전트 기반 코딩과 사이버 보안 분야에서 상당한 기술 진전이 확인됐다"며 "회사의 자체 기준상 치명적 수준(Critical)의 사이버 역량에 도달했을 가능성을 배제할 수 없다는 결론에 이르렀다"고 밝혔다.
오픈AI는 수천명 이상 인명 피해나 수천억 달러 규모 경제 피해로 이어질 수 있는 AI 모델 위험을 방지하기 위해 안전 체계를 운영하고 있다. 이에 따르면 AI 모델의 사이버 위험은 높음과 치명적 두 단계로 구분된다. 높음은 기존 사이버 위험을 증폭시키는 정도, 치명적인 전례 없는 치명적 위험을 발생시킬 정도를 가리킨다. 치명적 단계에 해당될 경우 개발 단계에서부터 보안 통제를 대폭 강화하고 충분한 안전장치를 확보할 때까지 개발을 중단하게 돼 있다.
대중에게 공개된 오픈AI 최신 모델 챗GPT 5.6 솔이 높음 단계로 평가됐다. 아스트라가 치명적 단계로 평가됐다는 것은 챗GPT 5.6 솔보다 훨씬 강력한 성능을 지녔다는 의미다.
오픈AI는 "아스트라 추가 개발이 안전하고 확실하게 진행될 수 있도록 더욱 엄격한 보안 통제를 실시했다"며 "강화된 보안 통제 조건을 만족하지 못하는 아스트라 관련 내부 활동은 일시 중단됐다"고 설명했다. 이어 "관련 정부 기관과 AI 안전 단체와 협력해 모델 기능을 테스트할 것"이라며 "위험도가 높은 테스트를 안전하게 실행할 수 있도록 제3자에게 보안 기능을 제공할 예정"이라고 부연했다.
오픈AI는 지난 21일 게시글에서 자사 AI 에이전트가 성능 시험 중 통제를 벗어나 타사 시스템을 침입하는 사건이 발생했다고 밝혔다. 이 AI가 아스트라인지 여부는 확인되지 않았다. 당시 오픈AI 측은 AI가 시험 중 외부망에 접속할 수 없도록 시험 환경을 조성했는데, AI가 이를 뚫고 외부망에 들어가 오픈소스 AI 플랫폼 허깅페이스의 운영 시스템에 무단 접속을 시도했다는 것. 오픈AI 발표에 따르면 문제의 AI는 해킹 시험에 필요한 자료가 허킹페이스 측에 보관돼 있을 것이란 결론에 따라 작동한 것으로 파악됐다.
앤트로픽, 메타 등 미국 빅테크와 중국 문샷AI의 키미 K3도 사이버 보안 평가 중 AI가 외부망에 접속한 것으로 전해졌다. 다만 이들 기업의 AI는 인간이 실험 환경 설정에 남긴 오류를 이용해 외부망에 접속한 것으로 알려졌다. 인간이 미처 파악하지 못했던 보안 취약점(제로데이 에러)을 찾아내 통제를 뚫고 나갔던 오픈AI 사건과 차이가 있다.
이에 미 의회에서 AI(인공지능)가 돌발 행동을 보일 경우 강제로 작동을 중지시키는 이른바 '킬 스위치' 기능 도입을 의무화해야 한다는 취지의 법안이 발의되는 등 AI 통제 가능성에 대한 우려가 이어지고 있다.