정부, 딥페이크 대응 '인공지능 분석 기술' 현장 도입
멀티모달 적용… 일부 음성만 조작 경우도 탐지 가능
정부가 선거를 겨냥한 딥페이크(이미지·음성 합성기술) 영상·음성 조작범죄에 대응하기 위해 AI(인공지능) 기반 탐지기술을 선거현장에 활용한다.
행정안전부는 10일 정부서울청사에서 국립과학수사연구원과 개발한 'AI 딥페이크 탐지모델' 시연회를 열고 오는 6월 치르는 제9회 전국동시지방선거에 적용할 계획이라고 밝혔다.
이번 조치는 최근 특정인물의 얼굴이나 음성을 정교하게 합성한 딥페이크 범죄가 급증하면서 선거과정에서 후보자의 발언이나 모습을 조작한 허위정보가 유권자의 판단을 왜곡하는 것을 방지하기 위해 마련됐다. 중앙선거관리위원회에 따르면 2024년 22대 총선 당시 388건이던 딥페이크 영상 삭제요청이 지난해 대선에서는 1만510건으로 급증했다.
이날 시연회에서 행안부는 새로 개발된 탐지모델 5개 중 4개의 실제 작동과정을 공개했다. 탐지모델은 지난해 12월에 열린 '딥페이크 범죄 대응을 위한 AI 탐지모델 경진대회'의 성과를 바탕으로 개발됐다. 당시 대회에서 행안부와 국과수는 5개 우수모델을 선정했다.
탐지모델은 영상의 전체 흐름을 분석하는 '전역분석'과 얼굴 등 특정부위의 조작흔적을 정밀하게 판별하는 '국소분석'을 동시에 수행하는 방식으로 정확도를 높였다. 실제 검증결과 탐지정확도는 기존 약 76%에서 92% 수준으로 향상된 것으로 나타났다.
박남인 국과수 연구관은 "기존 모델은 얼굴 중심으로만 탐지할 수 있었지만 새 모델은 얼굴 외 영역에서도 조작 여부를 탐지할 수 있다"며 "단일모델 기준 탐지정확도는 92% 수준이지만 여러 모델의 분석결과를 다수결 방식으로 종합하는 구조를 적용해 앙상블 효과로 최대 97% 수준의 성능향상이 확인됐다"고 했다.
영상뿐 아니라 음성까지 함께 분석하는 '멀티모달' 방식을 적용해 인터뷰 영상이나 연설 영상 등에서 일부 음성만 조작한 경우에도 탐지가 가능하도록 설계했다. 예를 들어 전체 영상 중 특정구간의 음성만 변조된 경우에도 해당 구간의 이상패턴을 분석해 추가검증이 가능하다는 설명이다.
독자들의 PICK!
선관위는 이번 탐지모델을 올해 지방선거부터 활용할 계획이다. 선관위는 현재 약 400명의 모니터링 요원을 통해 온라인상 딥페이크 의심 콘텐츠를 상시확인하고 유권자가 발견한 딥페이크 영상도 신고를 통해 접수한다. 의심 콘텐츠가 확인되면 즉시 플랫폼이나 게시자에게 삭제를 요청하는 방식으로 확산을 차단한다.
조봉기 선관위 조사국장은 "선관위가 운영 중인 기존 감별 프로그램과 이번 탐지시스템을 동시에 활용해 두 시스템이 모두 딥페이크로 판단할 경우 페이크로 확정하는 방식으로 운영할 예정"이라며 "선관위에서 ID와 비밀번호를 부여받아 실제 선거 모니터링에 활용하게 된다"고 설명했다.
딥페이크 제작으로 인한 처벌수위에 대해 조 국장은 "선거일 90일 전부터 선거일까지 선거운동 목적으로 실제와 구분하기 어려운 딥페이크 영상이나 음성을 제작·유포할 경우 7년 이하 징역 또는 1000만원 이상 5000만원 이하 벌금형에 처할 수 있다"며 "다만 선거일 90일 이전에는 AI(인공지능)로 제작된 콘텐츠임을 명확히 표시할 경우 일부 활용이 가능하다"고 했다.
정부는 이번 시스템을 선거뿐 아니라 다양한 디지털범죄 대응에도 활용할 계획이다. 행안부와 국과수는 성평등가족부, 방송미디어통신위원회, 경찰청 등 관계부처와 협력해 범정부 차원의 디지털범죄 대응체계를 강화하고 AI 기반 범죄에 선제적으로 대응한다는 방침이다.
윤호중 행안부 장관은 "딥페이크로 만들어진 가짜영상과 허위정보가 국민의 판단을 흐리고 민주주의 기반을 흔들 수 있다"며 "AI는 민주주의를 위협하는 창이 아니라 민주주의를 지키는 방패가 돼야 한다"고 말했다.
