인공지능(AI) 분야의 3대 대부로 꼽히는 요슈아 벤지오 캐나다 몬트리올대 교수가 AI 기술 폭주를 막기 위해 핵무기 통제에 준하는 강력한 국제 안전장치를 마련해야 한다고 촉구했다.
빅테크업계의 주도권 경쟁으로 AI 시스템이 인간의 제어를 벗어나 스스로 성능을 개량하는 단계에 도달할 위험이 커지자 안전 검증이 기술 발전 속도를 따라잡을 때까지 AI 모델의 훈련을 일시 중단하거나 개발 속도를 조절해야 한다는 목소리가 커진 가운데 세계적인 석학도 규제 필요성에 힘을 보태고 나선 것이다.
벤지오 교수는 16일(현지시간) AFP 통신과 인터뷰에서 "기업들조차 속도가 너무 빨라 통제력을 잃어가고 있다고 말하는 데는 이유가 있다"며 "나를 비롯한 전문가들은 이런 위험을 오래 전부터 예견했다"고 말했다.
벤지오 교수는 인간의 개입 없이 스스로 판단하고 행동하는 AI 에이전트의 출현을 가장 치명적인 위협으로 지목했다. "AI 에이전트가 고도화하면 사이버 보안 장벽을 무력화하고 어떤 기업이나 기관이든 침투할 수 있는 능력을 갖추게 될 것"이라는 것이다. 최근에도 오픈AI의 '불량 에이전트'가 격리 환경을 임의로 이탈해 외부 기관인 허깅페이스를 해킹하는 등 이런 우려가 일부 현실화하는 조짐이 나타나고 있다.
벤지오 교수는 "AI 에이전트가 인간을 설득해 AI 자신에게 유리하지만 인류에 유익하진 않은 방향으로 행동하는 능력을 키울 수 있다"며 "이런 능력은 광범위한 정치·사회적 혼란을 초래할 수 있다"고 지적했다. 또 "장기적으로 AI가 물리적 세계에서 실제 행동을 수행하는 데 인간이 더는 필요하지 않을 수 있다"고도 밝혔다.
벤지오 교수는 이 같은 시나리오가 현실화했을 때 가장 극단적인 결과로 인류가 멸망할 가능성도 언급했다. 벤지오 교수는 "그보다 덜 극단적인 은행 시스템 마비 사태 정도에 그친다고 하더라도 이는 여전히 매우 심각한 문제가 될 것"이라며 "그동안 AI를 둘러싼 안보·보안 논의가 충분히 엄중하게 이뤄지지 못했다"고 주장했다. 그러면서 "파국을 막기 위해서는 핵무기를 통제하는 국제기구에 준하는 강력한 국제적 규제가 필요하다"고 촉구했다.
벤지오 교수는 특히 "전 세계 AI 시장을 주도하는 미국 기업들이 이를 적극적으로 따라야 한다"며 "이런 규제 조치가 제때 마련된다면 세상을 민주적 가치와 권력 분담의 원칙에 부합하는 방향으로 이끌어갈 수 있을 것"이라고 말했다.
독자들의 PICK!
벤지오 교수는 현대 AI의 기틀인 심층학습(딥러닝) 기술을 창시, 2018년 '컴퓨터과학 분야 노벨상'으로 불리는 튜링상을 힌턴 교수와 공동 수상했다. 현재 제프리 힌턴 토론토대 교수, 얀 르쿤 뉴욕대 교수와 함께 AI 분야 3대 대부로 불린다. 최근 들어서는 AI의 위험을 경고하는 목소리를 내면서 지난해 신뢰할 수 있는 차세대 첨단 AI 개발을 목표로 하는 비영리단체 '로제로'를 설립했다.
