오픈AI가 자사 인공지능(AI) 모델에서 발생하는 '정렬 불일치' 사례를 추적·조사·공개하기 위한 새로운 체계를 마련했다. 인간의 의도와 다르게 행동하거나 허가받지 않은 행동을 하는 AI 모델을 감시하고 관리하겠다는 것이다.
16일(현지시간) 오픈AI는 AI 모델이 개발자의 의도와 다른 행동을 하거나, 예상에서 벗어나는 사례를 추적·조사하고 공개하는 새로운 체계를 마련했다고 밝혔다. 향후 AI 모델이 인간의 의도와 다른 행동을 했을 가능성이 있는 사안이 발견되면 오픈AI가 이를 조사하고 경중에 따라 외부 공개 여부를 결정한다. 그동안 이런 이상 행동에 대한 정보 공개는 체계적인 기준 없이 그때그때 결정됐다.
새 기준에 따르면 오픈AI 직원은 누구나 이상 행동을 등록해 안전·정렬팀의 조사를 요청할 수 있다. 사안은 조사 정도에 따라 '공개 준비 완료', '경미한 조사', '심층 조사' 등 3단계 중 하나로 분류된다. 제3자가 연루된 복잡한 사안은 심층 조사로 분류돼 보안·법적 요건에 따라 공개가 지연될 수 있다. 이견이 해결되지 않으면 안전자문그룹(SAG)이라는 상설 조직으로 회부된다.
각 정식 보고서에는 관찰된 행동과 심각도, 발생 환경과 시점, 관련 모델 정보 등이 담기게 된다. 구체적 경위와 피해, 발견 경로, 안전성에 대한 시사점, 대응 조치 등도 검토해 공개된다.
오픈AI는 최근 발생한 허깅페이스 관련 사고도 이 프레임워크가 있었다면 '심층 조사' 대상이 됐을 것이라고 설명했다. 회사는 또 심각한 안전·보안 사고는 미국 연방정부와 공유하는 별도 체계를 마련하기 위해 협력 중이라고 덧붙였다. 지난 7월 오픈AI의 AI 에이전트들이 오픈소스 플랫폼 허깅페이스의 시스템을 침해하고, 행동을 숨기려고 한 사건이 알려지면서 안전 관리 체계가 도마 위에 올랐다.
이와 함께 오픈AI는 지난 6개월간 확인된 AI 모델의 이상 행동 사례 6건도 공개했다. 이 중에는 AI 모델이 작업 내용을 요약하면서 지시사항을 꾸며내거나, 자신의 실수를 은폐한 사례가 포함됐다. 자신이 인용할 파일을 인터넷에 직접 올리거나, AI 에이전트끼리 허가 없이 파일을 공유한 경우도 확인됐다.
다만 오픈AI는 이번에 확인된 사례만으로는 자사의 AI 모델이 개발자의 의도와 다르게 행동하는 경우가 얼마나 자주 발생하는지를 판단해서는 안 된다고 강조했다.
