"인공지능이 주도권 뺏는 상황, 3년 안에 현실화"

인공지능(AI)이 인간의 통제를 벗어나 인류의 생존을 위협할 수 있다는 경고가 오픈AI 고위 관계자로부터 나왔다. AI가 인간의 주도권을 빼앗는 상황이 향후 3년 안에 현실화할 위험이 크다고도 했다.
15일(현지시간) 비즈니스 인사이더 따르면 폴 크리스티아노 오픈AI 이사는 최근 캐나다 토론토에서 열린 '힌턴 강연회'에 참석해 "이 방에 있는 사람들 대부분의 가장 유력한 사망 원인은 AI 사고가 될 것"이라고 말했다.
크리스티아노 이사는 AI가 인간의 피드백을 바탕으로 바람직한 행동을 학습하도록 하는 인간 피드백 기반 강화학습(RLHF)의 공동 창안자로 알려져 있다.
그는 강연에서 AI가 인간의 통제를 벗어나 스스로 목표를 설정하고 추구하면서 인간이 쥐고 있던 주도권을 빼앗는 'AI 지배' 가능성을 우려했다. 그러면서 올해 초 오픈AI의 에이전트가 오픈소스 저장소인 허깅페이스를 해킹한 사례와 영국 AI 보안 연구소 평가에서 앤트로픽의 클로드 에이전트가 오픈소스 패키지에 악성 코드를 심으려 시도한 사례를 언급했다.
크리스티아노 이사는 이 같은 행동 능력이 발전하면 AI 에이전트가 인간 평가자를 자신의 목표 달성을 방해하는 장애물로 인식할 수 있다고 우려했다. 평가자를 속이는 능력이 단순히 높은 평가 점수를 얻는 데 그치지 않고 인간의 통제를 회피하는 행동으로 발전할 수 있다는 설명이다.
그는 이 같은 상황이 현실화하면 대규모 인명 피해가 발생하거나 인간이 생존할 수 없는 환경이 조성될 수 있다고 경고했다. 인간이 이를 막으려 하더라도 "여러분이나 제가 미군을 막으려는 것만큼 무력할 것"이라고 비유했다.
AI가 인간의 통제권을 장악할 가능성을 수치로 제시할 수 있는 정량적 모델은 없다고 인정하면서도, 향후 3년 이내에 이 같은 위험이 현실화할 가능성이 크다고 내다봤다. 빠르면 6~12개월 안에도 발생할 수 있다는 전망이다.
그는 AI 통제 문제에 대한 대응책 마련이 시급하다며 "이는 몇 년 안에 해결해야 할 문제가 아니라 올해 해결해야 할 문제"라고 강조했다. 이에 AI 기업들이 공통된 안전 기준을 마련하고, 시스템을 제어할 수 없다고 판단될 경우 개발 속도를 늦추거나 중단할 수 있는 능력을 갖춰야 한다고 강조했다.
크리스티아노는 2017년부터 2021년까지 오픈AI에서 근무했고, 지난 9월에는 오픈AI 재단 이사로 임명됐다. 현재 미국 상무부 산하 AI 표준혁신센터(CAISI)의 수석 기술고문도 맡고 있다.