AI 개발 경쟁이 인류의 목숨까지 위협할 수 있다는 극단적인 경고가 이어진 가운데 업계에서 개발 속도를 조절하자는 데 의견이 모였다. AI 개발 경쟁에 가속도가 붙으면서 통제 범위를 벗어나고 있다는 우려에 따른 것이다. 일각에서는 업계의 '선수' 기업들이 규제를 주도하는 '심판' 역할까지 하려 한다는 지적과 선두 지위를 굳히려 한다는 비판도 나온다.
12일(현지시간) 다리오 아모데이 앤트로픽 최고경영자(CEO)가 "AI 모델의 역량을 향상시키는 속도를 늦춰야 한다"는 글을 올리자 샘 올트먼(오픈AI)·일론 머스크(스페이스X)·데미스 허사비스(구글 딥마인드) CEO는 속도 조절에 동의한다고 밝혔다. 구글의 모회사인 알파벳과 메타에서는 아직 공식 입장이 나오지 않았다.
이번 성명은 앤트로픽 개발자들이 잇따라 AI의 암울한 미래를 경고한 뒤 나왔다. 제이컵 콕슨은 앤트로픽을 퇴사하면서 "AI가 10년 안에 인류를 모두 멸종시킬 수 있다고 믿고 있다"고 주장했다. 다음날 앤트로픽의 에번 휴빙거 연구원은 "AI가 향후 10년 안에 인류를 전멸시킬 확률이 10%를 넘는다"고 말을 보탰다. 휴빙거는 "앤트로픽은 (그것을 막기 위해) 최선을 다하고 있으나 초지능을 다룰 방법을 아직 마련하지 못했다"고 우려했다.
우려의 핵심은 AI가 개발자인 사람의 모니터링 능력을 앞설 만큼 빠르게 발전하고 있다는 점이다. 아모데이 CEO는 "6~12개월 안에 악성 프로그램들이 지속적인 봇넷을 통해 인터넷 전체를 장악할 수 있다"고 경고했다. 앤트로픽은 올해 초 자사 '미토스' 모델이 보안 위협을 내포하고 있다며 출시를 제한했다.
오픈AI가 개발중이던 모델들이 실험영역을 벗어나 외부기업 허깅페이스를 해킹하기도 했다. 당시 AI 에이전트 집단은 사람의 지시가 없는데도 자기들끼리 신호를 주고받으며 해킹을 시도한 것으로 드러났다. 비영리 단체 아폴로 리서치의 알렉산더 마인케 연구 책임자는 "AI 모델들이 서로 공모하는 것처럼 보일 수 있다"고 지적했다.
이에 AI 기업들은 AI가 스스로를 어떻게 모니터링하는지 테스트하는 시간이 필요하다는 의견에 공감하게 됐다. 마인케는 "AI도 어떤 사안이 인간의 개입이 필요한 수준에 이르지 않았는지를 스스로 판단할 수 있어야 한다"고 말했다.
미국 민주당 하원의원들은 11월 중간선거 후 AI 특별위원회를 구성하는 방안을 검토하고 있다. 오픈AI는 지난 11일 AI 개발 속도를 늦추는 방안을 검토하고 있다고 밝혔다. 아모데이 CEO 역시 이번 성명에서 내부직원과 비슷한 수준의 접근권을 보장하는 제3자 평가팀을 도입하겠다고 밝혔다. 앞서 지난 7월 오픈AI, 앤스로픽, 구글, 메타의 직원 1200여명은 미국 정부에 인공지능 개발 속도를 늦추기 위한 국제적 협력을 지원해 줄 것을 촉구했다.
일각에서는 이 같은 'AI 공포론'에 의도가 있다고 본다. 선수가 심판 역할까지 하면서 업계 선두 지위를 굳히려 한다는 시각이다. 특히 앤트로픽은 아모데이 CEO가 '헌법적 AI 개발'을 강조하는 동시에 AI 개발 가속을 주도한 측면이 있다. 앤트로픽 AI 모델이 부정적 방향으로 악용되기에 이르렀다.
앤트로픽이 10일(현지시간) 공개한 위협정보 보고서에 따르면 중국 AI 기업 문샷AI 등 중국 AI 기업들이 클로드를 무단으로 이용해 자사 모델의 성능을 끌어올리는 이른바 '증류'를 시도한 걸로 보인다. 소수 민족과 반체제 인사 감시에 AI를 사용했다거나 생물학 무기개발, 해킹 등에 클로드가 악용됐을 거란 주장도 제기됐다.
파이낸셜타임스(FT)는 익명의 관계자를 인용해 "AI 연구소들이 실존적 위험을 강조하는 데는 이해관계가 있다"고 보도했다. 뉴욕타임스(NYT)도 관계자를 인용해 "앤트로픽과 오픈AI가 공포를 조장하고 연방 정부에 소규모 기업들이 경쟁하기 어렵게 만드는 규제 체계를 만들도록 요청함으로써 AI 시장 선두주자로서의 입지를 굳히려 한다"고 지적했다.
데이비드 색스 백악관 대통령 과학기술자문위원회(PCAST) 공동의장은 콕스 연구원의 이른바 'AI 종말론' 경고에 대해서도 "AI에 대한 대중의 공포심을 조장하고 의원들이 AI에 대한 정부 규제에 강력한 조치를 취하도록 압력을 가하기 위한 것"이라고 평가했다.