[AI 속도조절론]"종료 저항·정보 조작 등 자기보존행동 가능"
기업공개(IPO)를 앞둔 앤트로픽이 잠재적 투자자들에게 첨단 인공지능(AI)이 "인류에게 파멸적이거나 존립적인 위험을 초래할 수 있다"고 경고할 계획이라고 로이터통신이 28일(현지시간) 보도했다. 이는 AI 기술로 수익을 창출하려는 기업으로서는 매우 이례적인 행보란 평가다.
이날 로이터 통신이 확인한 투자설명서에 따르면 앤트로픽은 총 261페이지에 달하는 투자설명서 본문 중 약 80페이지를 위험 요인을 설명하는 데 할애했다. 이는 사업 내용을 설명하는 데 쓴 48페이지의 거의 두 배에 달하는 분량이다. 앞서 xAI를 보유한 스페이스X가 277페이지 분량의 투자설명서 중 약 38페이지를 위험 요인에 할당한 것과 대조적이다.
앤트로픽은 AI가 산업화나 전기만큼이나 변혁적인 잠재력을 지니고 있음을 강조하는 동시에 인간이 이를 잘못 다룰 경우 돌이킬 수 없는 피해를 초래할 수 있다고 역설했다.
회사 측은 특히 "AI 모델들이 종료에 저항하려는 시도나 정보의 은폐 또는 조작, 그리고 협박과 유사한" 행동을 포함한 자기 보존적 행동을 보일 수 있다고 강조했다. 이어 "고도로 진화된 모델, 플랫폼, 애플리케이션의 개발과 사용 사례 확장은 우리 AI 모델이 해를 끼칠 위험을 더욱 증가시킬 수 있다"고 덧붙였다.
앤트로픽은 AI 안전성을 강조하면서도 안전 투자에 대한 수익은 불분명하다고 밝히기도 했다. 회사는 이번 서류에서 안전 연구에 얼마나 큰 비용을 지출하고 있는지는 구체적으로 밝히지 않았다. 앞서 이달 초 앤스로픽은 7월의 표본 주간을 기준으로 AI 연구에 사용한 컴퓨팅 파워의 약 6%가 안전 관련 작업에 쓰였다고 밝힌 바 있다.
로이터는 "상장 기업들이 통상적으로 투자자들에게 제품 관련 위험을 명시하긴 하나 자사 기술이 잠재적인 인류 멸종을 야기할 수 있다고 경고한 기업은 드물다"고 평가했다.
한편 앤트로픽은 다리오 아모데이 CEO가 첨단 AI 개발 속도를 늦춰야 한다고 주장하는 기고문을 발표한 지 10일 만인 지난주, 새로운 버전의 오푸스 모델을 출시했다. 앤트로픽은 투자설명서에서 "우리는 신뢰할 수 있고 안전한 AI 시스템을 구축하는 것이 공동의 책임이며 시장이 이에 보상할 것이라고 믿는다"고 밝혔다.
