미군이 인공지능(AI)이 만들어낸 '가짜 정보'에 속아 중국과 전쟁을 할 위기에 직면할 뻔했던 것으로 알려졌다.
18일(현지시간) CNN은 소식통을 인용해 미군이 AI가 생성한 허위 정보 보고서를 근거로 중동 해역에서 중국 선박을 나포하려다 실행 직전 가까스로 중단해 중국과의 전쟁 발발 위기를 피했다고 보도했다.
소식통에 따르면 이란 전쟁 초기인 올봄 미군 전반에 "중동 해역의 중국 선박이 핵무기 프로그램 부품을 운반 중"이라는 특수작전사령부 소속 분석관이 작성했다는 정보 보고서가 회람됐다. 보고서를 확인한 미군은 즉시 중국 선박 나포 작전에 나섰다.
소식통들은 "무장한 미군 병력이 선박에 승선할 준비까지 했고, 군용기가 이미 공중에 떠 있었다"고 전했다. 그러나 작전이 실행되기 직전 군 당국자들이 보고서를 다시 정밀 검토했고, 이 과정에서 분석관이 AI의 도움을 받아 해당 보고서를 작성했고, 분석관이 사용한 AI 챗봇이 선박에 실린 물질을 부정확하게 식별된 것이 확인됐다.
한 소식통은 CNN에 "해당 보고서는 완전히 잘못된 것이었다"며 "보고서 때문에 거의 전쟁이 날 뻔했다"고 지적했다. 미군이 보고서 내 정보에 따라 중국 선박을 상대로 나포 작전 등에 나섰다면 미국과 중국 간 무력 충돌로 번질 위험이 있었다는 것이다.
미국과 중국 간 무력 충돌로 이어질 뻔한 문제의 보고서는 보고서 작성자인 분석관이 미국 태평양 특수전사령부에서 나온 중국 선박의 화물 목록 관련 정보를 AI 챗봇에 질문하면서 시작됐다. 챗봇은 공개 정보와 미 정부의 기밀 신호 정보를 통합해 잘못된 결론을 내렸다고 한다. CNN은 "분석관이 사용한 챗봇인 상용 제품인지 미국 정부가 개발한 제품인지 확인되지 않았다"고 전했다. 전직 미 고위 관계자는 CNN에 "미군과 정보기관 분석가들이 사용하는 내부용 AI 도구는 대부분 겉 포장만 바꾼 상용 제품 복제품"이라며 오류 발생 가능성을 우려했다.
CNN은 "이번 사례는 미 전쟁부(국방부)와 정보기관이 수집한 정보의 분석, 타격 목표 설정, 예산 편성, 물류, 공급망 관리 등 거의 모든 업무에 AI 도입을 빠르게 추진하는 상황에서 군사적 오판 위험도 커지고 있다는 것을 보여준다"고 짚었다.
피트 헤그세스 국방장관은 지난 1월 'AI 가속화 전략'을 통해 군 업무 전반에 AI 도입을 확대하고 발표했다. 하지만 미 내부에서 각 정부 부처가 서로 다른 명령과 안전 기준으로 각기 다른 AI 도구를 사용하고 있고, 통일된 검증 기준도 없다고 지적한다. 한 소식통은 "표적 선정에서 AI 활용은 분명히 확대되고 있지만, 인간이 의사결정 과정에 개입한다고 해서 민간인 사상이나 아군 오인 사격을 어떻게 막을 수 있는지에 대한 실질적인 지침은 없다"고 말했다.