"인류 전멸" 그 연구원, 2차 경고…"AI 기업들, AI 완전 통제 못해"

인공지능(AI) 속도조절론에 불을 지폈던 제이컵 콕슨 전 앤트로픽 연구원이 5일(현지시간) 뉴욕 시의회 청문회에 증인으로 참석해 "(AI기업들이) 극도로 무모하다"며 AI의 위험성에 대해 다시 한 번 경고했다.

뉴욕포스트에 따르면 콕슨은 이날 내부고발자로 뉴욕시의회 청문회에 참석했다. 그는 AI 업계의 개발문화를 두고 "'빠르게 움직이고, 일단 부수고, 나중에 고친다(move fast, break things, fix them later)'는 식의 접근"이라고 비판했다.

이어 "기업 내부의 연구자, 실무진들이 AI 시스템의 행동을 완전히 이해하거나 통제하지 못하고 있다"고 지적했다. 그는 "AI시스템이 스스로를 개선할 수 있는 능력을 갖추게 되는 시점에 다가가고 있다"며 AI가 스스로 AI 시스템을 개선하는 이른바 '재귀적 자기개선(Recursive self-improvement·RSI)' 가능성에 대한 우려도 제기했다.

줄리 메닌 뉴욕시의회 의장은 콕슨 이외에도 AI 관련 내부고발자 2명을 청문회에 불러 AI의 위험성에 대한 증언을 요청했다.

전 구글 딥마인드 연구원 알렉스 터너, 전 오픈AI 연구원 다니엘 코코타일로가 내부고발자로 참석했다. 터너는 "(AI가) 인간의 통제에서 벗어나 인류에 대한 통제권을 장악할 가능성은 약 3분의 1"이라고 우려를 표했다.

코코타일로는 "설령 (AI에 대한) 통제권을 유지해낸다 하더라도, 통제권을 이용해 미국 내에서 독재자나 지배세력이 될 가능성이 매우 크다고 생각한다"며 인간이 통제권을 지켜내도 누가 어떻게 통제하는지에 따라 새로운 문제가 발생할 수 있다고 지적했다.

지난달 8일(현지시간) 콕슨은 앤트로픽을 퇴사하며 개인 SNS에 "2030년 전까지 인류가 전멸할 수 있다"고 경고했다. 오픈AI와 앤트로픽을 모두 경험한 그는, 두 기업이 AI 개발 경쟁에 빠져 "인류의 목숨을 담보로 도박하고 있다"고 주장했다.

당시 앤트로픽의 최고경영자(CEO) 다리오 아모데이는 장문의 글을 통해 '재귀적 자기개선'을 언급하며 AI모델 개발 속도를 늦추자고 촉구했다. 이어 지난달 14일(현지시간) CNN과의 인터뷰에서는 콕슨을 직접 언급하며 "그와 동의하지 않는 것보다 동의하는 부분이 훨씬 많다"고 말했다.

AI가 인간의 통제를 벗어날 가능성에 대한 우려는 실제 AI 개발 과정에서도 나타나고 있다. 지난달 28일 오픈AI는 당초 10월에 출시 예정이었던 GPT-6.1 아스트라의 출시를 미뤘다. 로이터 통신에 따르면, AI정렬 테스트에서 아스트라가 인간의 감독을 회피하거나 허가된 범위를 벗어나는 등의 문제가 발견됐다.

이 같은 AI 위험성에 대응해 뉴욕시는 시 차원의 AI 규제 강화에 나서고 있다. 뉴욕시의회가 제안한 법안에는 기업이 외부 전문가의 검증 없이는 시내에서 AI시스템을 마케팅, 판매, 배포할 수 없도록 하는 내용이 포함됐다. 나아가 AI 도구에 강제종료 기능 이른바 '킬 스위치'를 의무적으로 장착하는 법안도 추진 중이다.