AI가 AI 만들다 '지능폭발' 오면 통제불능…석학·기업들 공동경고

빅테크 연구원들이 인공지능(AI) 으로 개발 자동화가 진행되면서 기술 발전 속도를 급격히 가속화할 수 있다고 내다봤다. 그러면서 최악의 경우 인류의 소외나 멸망으로 이어질 수 있다고 경고했다.

29일 블룸버그통신에 따르면 연구자 20명이 'AI 연구개발의 자동화가 지능 폭발을 촉발한다면?'이라는 공동 논문에서 이 같은 우려를 내놓으며 정책 대응을 촉구했다. 이 논문에는 앤트로픽 공동 창립자인 잭 클라크와 오픈AI 최고 과학자 야쿠브 파초키, AI 분야의 선구자인 제프리 힌튼과 요슈아 벤지오 등 주요 AI 기업의 현업 연구진과 학계가 참여했다.

이들은 현재 AI 모델의 개발 작업을 AI에 위임하는 자동화 속도가 빠르게 증가하면서 이른바 '지능 폭발' 현상이 나타날 수 있다고 경고했다. AI의 역량이 사회가 기술을 제어하고 적응하는 능력을 앞지를 위험을 높일 수 있다고 지적한 것이다. 연구진은 "AI 연구·개발 자동화가 인간의 감독 기능을 약화시킬 수 있다"는 가능성에 대해서도 우려했다.

예를 들어 앤트로픽은 이달 자사 AI 연구·개발 작업의 25% 이상을 클로드 챗봇이 주도하고 있다고 밝혔는데, 이는 올해 초 거의 0%에 가까웠던 것에서 크게 증가한 수치다. 인간은 감독만 하고 AI가 자율적으로 완수한 연구개발(R&D) 작업의 비율도 지난 3월에는 1%에 불과했지만, 지난달에는 26%로 늘어났다는 것이다.

이와 같은 지능 폭발은 기술 혁신을 크게 앞당기거나 신약 발견 등 긍정적으로 작용할 수도 있지만, 사회가 적응할 수 있는 한계를 넘어서는 위험도 초래한다고 우려했다. 던 송 메타 부사장은 "이미 오늘날 에이전트가 수행하는 작업을 감시하기 위해 AI가 필요한 단계에 이르렀다"며 "인간만으로는 감시를 수행하는 데 역부족"이라고 월스트리트저널(WSJ)에 말했다.

논문은 이에 따라 가장 극단적인 경우 AI 시스템에 대한 통제를 상실하면 인류의 소외나 멸망으로 이어질 수 있다고 내다봤다. 연구자들은 정책 입안자들이 다양한 AI 급증 시나리오에 대비한 비상 대응 계획 수립을 고려해야 한다고 촉구했다.

각국 정부가 AI 기업에 R&D 자동화 지표 등 보고를 의무화해야 한다는 의견도 냈다. 안전 기준이 충족되지 않으면 AI 연구개발 작업 부하를 조절하거나 일시 중지할 수 있는 통제 장치를 마련하고, 급격한 노동시장 변화나 지정학적 불안정 등에 대비한 계획을 수립해야 한다는 것이다.

이들은 "위험성에 비해 우리는 충분히 준비돼 있지 않다"며 "지능 폭발이 시작되고 나면 대응할 수 있는 기회의 창이 닫힐 수 있다"고 강조했다.