#식품의약품안전처는 AI로 생성한 가짜 의사를 등장시켜 일반 식품을 노화 방지 특효약처럼 불법 광고한 유통업체를 검찰에 송치했다. 딥페이크 영상은 플랫폼을 타고 빠르게 번졌고, 이 업체는 9개월간 65만여개의 제품을 판매해 약 81억원의 부당 매출을 올렸다.
생성형 AI의 발달로 딥페이크 범죄가 급증하면서 사후 가해자 처벌만큼 플랫폼의 '사전 유통 방지' 책임도 강조된다. 이에 정부와 국회가 잇따라 규제 칼을 빼 들었고, 플랫폼 기업도 발을 맞춘다. 다만 딥페이크 탐지 기술이 생성 기술보다 늦다는 한계가 있다.
20일 방송미디어통신위원회에 따르면 네이버(NAVER), 카카오, 구글, 메타 등 83개 사업자가 지난해 딥페이크, 아동·청소년 성 착취물 등 불법 촬영물 14만 996건을 삭제했다. 게시되기 전에 사전 차단한 영상은 약 100만건에 달한다. 방미통위는 불법 촬영물 차단을 위한 기술 조치 미이행 기업에 시정명령·행정지도를 내리는 등 엄격히 관리한다. 기술 조치 개선 계획을 받고 이행 여부도 확인한다.
과학기술정보통신부는 플랫폼·관계부처·연구기관 등이 참여하는 '딥페이크 대응 R&D 실무 협의체'를 구성했다. 2030년까지 총 300억 원을 투입해 '디지털 딥페이크 범죄 대응 핵심기술개발 사업'을 진행한다. 정밀 탐지부터 유통 차단 지원, 데이터 확보 검증까지 전 과정을 아우르는 대응 체계를 구축하는 게 목표다.
국회도 팔을 걷어붙였다. 차지호 더불어민주당 의원은 올해 초 성인 피해자가 요청하는 경우 48시간, 미성년자 피해자가 요청하는 경우 24시간 이내에 동의하지 않은 딥페이크 성적 표현물을 삭제·차단할 의무를 플랫폼에 부여하는 '딥페이크 피해 방지 및 삭제 의무 법안'을 발의했다. 해외 사업자도 대상이며 의무 불이행 시 국내 매출액 1% 이내의 과징금을 부과한다.
플랫폼에 규제와 의무를 부여하는 건 딥페이크 생성물이 유통되는 통로 역할을 하기 때문이다. 실제 세계적인 팝스타 테일러 스위프트의 얼굴에 나체 이미지가 합성된 딥페이크 이미지는 X(옛 트위터)로 빠르게 확산하면서 총 4700만 조회수를 기록했다. 사이버 보안 기업 딥스트라이크에 따르면 전 세계 딥페이크 파일 수는 2023년 약 50만건에서 2024년 800만건으로 16배 급증했다.
이에 미국은 '테이크 잇 다운 법'(TAKE IT DOWN Act)을 제정해 당사자 동의 없는 사적 이미지 배포를 범죄로 규정하고, 플랫폼에 48시간 내 삭제 의무를 부여했다. 단순 원본 삭제에 그치지 않고, 동일 이미지 중복 게시를 줄이기 위한 조치까지 요구한다. 독일과 호주도 플랫폼에 불법 콘텐츠 삭제 의무를 지운다.
한국 플랫폼 업계도 노력 중이다. 카카오는 지난해 12월부터 크리에이터가 숏폼 업로드 시 AI 생성 콘텐츠임을 표시하는 기능을 마련했다. 누락 시 별도 안내·수정 조치도 취한다. 네이버도 AI 활용 표시 기능을 도입하고, 딥페이크 신고 채널을 운영한다.
문제는 탐지 기술 발전이 느리다는 점이다. 업계 관계자는 "딥페이크 생성 기술에 비해 탐지 기술의 발전 속도가 느리다"며 "기술 격차가 있는 탓에 악의적으로 작정하고 유포할 경우 퍼지기 전에 잡아내기가 쉽지 않다"고 토로했다.