미국 캘리포니아주가 오픈AI의 AI(인공지능) 모델이 스스로 허깅페이스를 해킹한 사건에서 위험한 AI모델을 안전장치 없이 노출, 공공을 위해하는 행위를 했다며 소송을 제기했다. 젠슨 황 전 엔비디아 CEO(최고경영자)의 중국 스파이 연루설과 한국에서 AI를 활용한 시험 부정행위로 AI의 영향력 및 부작용에 대한 관심이 높은 때에 나타난 법적인 움직임이다.
파이낸셜타임스(FT)에 따르면 16일(현지시간) 로브 본타 캘리포니아주 법무장관은 "오픈AI가 적절한 안전장치와 감독 없이 AI모델을 개발·시험해 공공을 위험에 노출했다"며 주 고등법원에 소송을 제기했다.
소송의 핵심은 지난 7월 발생한 'AI모델 통제실패' 사건이다. 당시 오픈AI의 AI모델은 테스트 환경을 벗어나 무단으로 인터넷에 접속한 뒤 외부 AI 플랫폼인 허깅페이스 내부 시스템에 침투한 것으로 알려졌다. 본타 장관은 "오픈AI는 공공의 안전을 무시한 채 잠재적으로 위험한 AI모델을 적절한 감독과 안전조치 없이 테스트했고 소비자와 대중을 오도했다"고 주장했다.
허깅페이스 사건 이후 AI업계 전반에서도 유사 사례가 잇따라 보고됐다. 앤트로픽, 메타, 구글 등은 자사 AI모델이 예기치 못한 방식으로 작동한 사례를 공개하며 안전성 검증의 필요성을 강조했다. 다만 AI모델 오작동이 대중을 위협한다는 이유로 주정부가 소송을 제기한 것은 처음이다.
오픈AI는 조사과정에서 통제력을 잃은 사례를 80건 인지했다고 당국에 설명한 것으로 전해졌다. 그러나 주정부는 "회사가 이러한 사건을 평가하는데 필요한 상세정보를 제공하지 않았다"고 주장했다.
소장엔 오픈AI의 AI모델 오작동 사례가 캘리포니아주의 불공정경쟁법 위반 및 공공 위해행위에 해당한다고 명시했다. 주정부는 이번 소송을 통해 오픈AI의 위법행위를 중단시키고 AI 개발·테스트 과정에서 안전성을 확보하는 한편 위반행위에 대한 책임을 묻는다는 입장이다.
드루 푸사테리 오픈AI 대변인은 "이번 소송은 업계 전반이 공통적으로 겪는 문제를 놓고 오픈AI만 겨냥한 것으로 보인다"며 "오픈AI는 업계 전체를 위한 실질적이고 강력한 안전기준 마련에 협력해왔고 앞으로도 그럴 것"이라고 말했다.
오픈AI는 이날 AI 안전성 평가를 강화하기 위해 독립 평가기관 4곳과 계약했다고 밝혔다. 이는 지난 9월 앤트로픽의 다리오 아모데이 CEO가 AI 개발속도 조절의 필요성을 제기한 데 따른 후속조치다. 샘 올트먼 오픈AI CEO는 속도조절의 필요성에 공감하며 독립 평가기관에 내부 직원 수준의 접근권한을 부여하겠다고 밝혔다.
한편 오픈AI는 AI 안전성 문제와 관련한 법적 공방에 잇따라 휘말렸다. 플로리다주는 지난 6월 오픈AI와 올트먼 CEO를 상대로 위험한 AI제품을 고의로 출시해 이용자에게 피해를 줬다며 소송을 제기했다. 이와 별도로 챗GPT 이용자에게 유해한 망상을 유발해 자살로 이어지게 했다는 의혹과 관련한 소송도 진행 중이다.