빌 게이츠 마이크로소프트(MS) 공동창업자가 AI(인공지능) 기술이 악용될 경우 10억명의 사망자를 낼 만큼 치명적인 무기가 될 수 있다고 경고하고 나섰다. 잦아드는 듯했던 'AI 속도조절론'에 다시 불이 붙을 전망이다.
게이츠는 25일(현지시간) 미국 NBC뉴스와의 인터뷰에서 "AI가 인류를 100% 죽이는 수준까지 가는 것은 상당히 어렵겠지만 악의를 가진 사람들이 최신 AI를 사용하는 것만큼 강력한 무기는 지금까지 없었다"고 말했다. 이어 "AI는 10억명이 사망하는 사건을 초래할 수 있을 만큼 충분히 강력하다"고 주장했다.
게이츠가 우려하는 것은 AI 자체의 반란보다 인간에 의한 악용이다. 특히 치명적인 생화학무기 설계나 국가 기반시설을 겨냥한 고도화한 사이버공격 등에 AI가 활용될 가능성을 경고했다. 고도의 전문지식이나 기술이 없는 사람도 AI의 도움을 받아 해킹이나 위험한 생물학적 연구를 수행할 수 있게 되면서 과거와는 차원이 다른 보안 위협이 현실화할 수 있다는 것이다.
실제 AI의 악용 가능성을 보여주는 사례도 잇따르고 있다. AI 스타트업 앤트로픽은 최근 친이란 성향으로 추정되는 예멘의 무장세력이 자사 AI 모델 '클로드'(Claude)를 이용해 유도무기의 비행제어·유도·항법 소프트웨어를 개발하려 했다고 공개했다. 해당 세력은 클로드를 활용해 비행제어 소프트웨어 작성과 시뮬레이션, 제어 설정 조정 등을 수행한 것으로 조사됐다. 앤트로픽은 상당수 요청을 차단했지만 일부는 안전장치를 우회했다고 밝혔다.
게이츠는 실리콘밸리 기술기업들의 자율적인 안전조치만으로는 이 같은 위험을 막기 어렵다고 주장했다. 그는 "의회 차원의 법적 규제가 절대적으로 필요하다"며 "빅테크의 자율규제만으로 충분하다고 생각하는 사람은 아무도 없다"고 말했다. 이어 "사법당국과 정치인들이 안전장치와 모니터링 체계를 구축하는 논의에 반드시 참여해야 한다"며 이를 법적 의무로 강제할 필요가 있다고 강조했다.
최근에는 AI 에이전트가 사용자의 명시적인 지시 범위를 넘어 인터넷상의 정보를 탐색하거나 정부기관 웹사이트에 접근한 사례도 잇따르고 있다. 오픈AI의 AI 에이전트들은 웹에서 발견한 로그인 정보를 이용해 미 상무부 산하 인구조사국의 데이터에 접근했고, 증권거래위원회(SEC) 웹사이트의 공개 데이터를 다른 웹사이트에 공유한 것으로 확인됐다. 또 미 교육부 산하 인권담당 부서 웹사이트에 접근해 데이터를 수집하려는 시도도 있었던 것으로 알려졌다. 오픈AI 측은 일부 모델이 신뢰할 수 있는 공공정보를 수집하기 위해 정부 웹사이트를 자주 방문하는 경향이 있다고 설명했다.
이 같은 사례는 AI가 단순히 질문에 답하는 수준을 넘어 스스로 웹사이트를 탐색하고 정보를 수집·처리하는 '에이전트' 단계로 진화하면서 새로운 보안 문제를 낳고 있음을 보여준다. 특히 AI의 자율성이 높아질수록 개발자가 의도하지 않은 행동을 어디까지 통제할 수 있느냐가 핵심 쟁점으로 떠오르고 있다.
AI 에이전트의 인터넷 활동은 국제적 문제로도 번지고 있다. 오픈AI는 호주에서 발생한 AI 에이전트의 웹사이트 탐색 사건을 조사해왔으며, 앤서니 앨버니지 호주 총리는 지난 23일 이와 관련해 "용납할 수 없는 일"이라고 반발했다. 오픈AI 측에 따르면 해당 사건은 지난 6월 발생했으며 회사는 두 달 뒤인 8월에야 이를 인지했다.
오픈AI는 지난 7월 AI 스타트업 허깅페이스 해킹 사건 이후 AI 에이전트의 인터넷 접속과 관련한 조사를 확대해왔다. 샘 올트먼 오픈AI CEO(최고경영자)는 25일 소셜미디어에 "조사 속도가 우리가 원했던 만큼 빠르지 않았다"며 "허깅페이스 사건은 우리가 목격한 것 중 여전히 가장 심각한 사건"이라고 밝혔다.
AI의 위험성을 둘러싼 경고가 잇따르는 가운데 반대편에서는 과도한 공포론을 경계해야 한다는 주장도 나온다. 엔비디아의 젠슨 황 CEO는 최근 AI 종말론에 대해 "2030년에 세상이 끝날 확률은 0%"라고 말했다. AI 발전을 늦추기보다 가능한 한 빠르게 개발하되 안전하지 않은 제품은 출시하지 않는 방식으로 대응해야 한다는 입장이다.