(상보)AI 탐지 모델, 6월 지방선거에 적용-다중 모델 앙상블로 탐지 성능 강화
정부가 선거를 겨냥한 딥페이크(이미지·음성 합성기술) 영상·음성 조작 범죄에 대응하기 위해 AI(인공지능) 기반 탐지 기술을 선거 현장에 활용한다.
행정안전부는 10일 정부서울청사에서 국립과학수사연구원과 개발한 'AI 딥페이크 탐지 모델' 시연회를 열고 오는 6월 제9회 전국동시지방선거에 적용할 계획이라고 밝혔다.
이번 조치는 최근 특정 인물의 얼굴이나 음성을 정교하게 합성한 딥페이크 범죄가 급증하면서, 선거 과정에서 후보자의 발언이나 모습을 조작한 허위 정보가 유권자의 판단을 왜곡하는 것을 방지하기 위해 마련됐다. 중앙선거관리위원회에 따르면 2024년 22대 총선 당시 388건이었던 딥페이크 영상 삭제 요청이 지난해 대선에서는 1만510건으로 급증했다.
이날 시연회에서 행안부는 새로 개발된 탐지 모델 5개 중 4개의 실제로 작동하는 과정을 공개했다. 탐지 모델은 지난해 12월 열린 '딥페이크 범죄 대응을 위한 AI 탐지 모델 경진대회'의 성과를 바탕으로 개발됐다. 당시 대회에서 행안부와 국과수는 5개 우수 모델을 선정했다.
탐지 모델은 영상의 전체 흐름을 분석하는 '전역 분석'과 얼굴 등 특정 부위의 조작 흔적을 정밀하게 판별하는 '국소 분석'을 동시에 수행하는 방식으로 정확도를 높였다. 실제 검증 결과 탐지 정확도는 기존 약 76%에서 약 92% 수준으로 향상된 것으로 나타났다.
국과수는 이번 시스템이 여러 개의 탐지 모델을 동시에 활용하는 방식으로 정확도를 높였다고 설명했다. 박남인 국과수 연구관은 "기존 모델은 얼굴 중심으로만 탐지할 수 있었지만 새 모델은 얼굴 외 영역에서도 조작 여부를 탐지할 수 있다"며 "단일 모델 기준 탐지 정확도는 약 92% 수준이지만, 여러 모델의 분석 결과를 다수결 방식으로 종합하는 구조를 적용해 앙상블 효과로 최대 약 97% 수준까지 성능 향상이 확인됐다"고 했다.
영상뿐 아니라 음성까지 함께 분석하는 '멀티모달 방식'을 적용해 인터뷰 영상이나 연설 영상 등에서 일부 음성만 조작된 경우에도 탐지가 가능하도록 설계됐다. 예를 들어 전체 영상 중 특정 구간의 음성만 변조된 경우에도 해당 구간의 이상 패턴을 분석해 추가 검증이 가능하다는 설명이다.
선관위는 이번 탐지 시스템을 올해 지방선거 대응부터 활용할 계획이다. 선관위는 현재 약 400명의 모니터링 요원을 통해 온라인상 딥페이크 의심 콘텐츠를 상시 확인하고 있으며, 유권자가 발견한 딥페이크 영상도 신고를 통해 접수할 수 있다. 의심 콘텐츠가 확인되면 즉시 플랫폼이나 게시자에게 삭제 요청을 하는 방식으로 확산을 차단한다.
독자들의 PICK!
조봉기 선관위 조사국장은 "선관위가 운영 중인 기존 감별 프로그램과 이번 탐지 시스템을 동시에 활용해 두 시스템이 모두 딥페이크로 판단할 경우 페이크로 확정하는 방식으로 운영할 예정"이라며 "선관위에 ID와 비밀번호를 부여받아 실제 선거 모니터링에 활용하게 된다"고 설명했다.
딥페이크 제작으로 인한 처벌 수위에 대해 조 국장은 "선거일 90일 전부터 선거일까지 선거운동 목적으로 실제와 구분하기 어려운 딥페이크 영상이나 음성을 제작·유포할 경우 7년 이하 징역 또는 1000만원 이상 5000만원 이하 벌금형에 처할 수 있다"며 "다만 선거일 90일 이전에는 AI로 제작된 콘텐츠임을 명확히 표시할 경우 일부 활용이 가능하다"고 했다.
정부는 이번 시스템을 선거뿐 아니라 다양한 디지털 범죄 대응에도 활용할 계획이다. 행안부와 국과수는 성평등가족부, 방송통신위원회, 경찰청 등 관계 부처와 협력해 범정부 차원의 디지털 범죄 대응 체계를 강화하고 AI 기반 범죄에 선제적으로 대응한다는 방침이다.
윤호중 행안부 장관은 "딥페이크로 만들어진 가짜 영상과 허위 정보가 국민의 판단을 흐리고 민주주의 기반을 흔들 수 있다"며 "AI는 민주주의를 위협하는 창이 아니라 민주주의를 지키는 방패가 돼야 한다"고 말했다. 그러면서 "딥페이크는 이제 단순한 기술 문제가 아니라 민주주의를 위협하는 새로운 정보 범죄가 되고 있다"고 강조했다.
