"나이 많은 사람 상관없는 분 계신가요. 지금 이동 가능한 분이요."
한국여성인권진흥원 산하 중앙디지털성범죄피해자지원센터(이하 중앙디성센터)의 AI(인공지능) 기반 성착취 탐지 시스템은 이 게시물을 '아동 성착취물'일 가능성이 높은 게시글로 분류했다. 노골적인 성적 표현은 없었지만 게시물에 미성년자를 의미하는 단어와 함께 성적인 뜻을 담은 해시태그(#)가 사용되면서 온라인 그루밍(성적 유인)에 해당할 위험도를 86%로 판단했다.
중앙디성센터는 10일 진행한 프레스투어에서 'AI 기반 아동·청소년 온라인 성착취 탐지·신고 시스템' 시연을 공개했다. AI 탐지 시스템은 SNS(소셜미디어)와 온라인 플랫폼에 게시되는 아동 성착취물, 딥페이크(첨단 조작기술) 영상, 온라인 그루밍 정보를 AI를 활용해 24시간 자동으로 수집·분석하는 시스템이다.
중앙디성센터는 올해 4월부터 AI 탐지 시스템을 운영했다. 아동·청소년은 피해를 봐도 직접 신고하기 어려운 경우가 많고 온라인 그루밍은 실제 피해가 발생하기 전에 차단하는 것이 중요한 만큼 AI를 활용한 선제적 대응체계를 구축했다.
이날 시연에서는 AI가 구글, X, 블루스카이, 텔레그램 등 14개 플랫폼에서 의심 게시물을 자동으로 탐지하는 과정이 공개됐다. AI가 성착취물일 가능성을 70% 이상, 아동 성착취물일 가능성을 60% 이상으로 분류하면 해당 게시물은 직원에게 자동배정된다. 이후에는 직원이 최종판단을 거쳐 플랫폼에 삭제를 요청한다.
AI 도입 이후 중앙디성센터의 업무효율은 크게 높아졌다. 현재 AI가 하루 동안 탐지하는 게시물은 약 5000건이다. 종사자 1인당 하루 처리건수는 지난해 평균 20.8건에서 올해 4~9월 평균 202.1건으로 약 9.7배 늘었다.
AI 탐지 시스템은 사용할수록 성능이 향상되는 구조다. 중앙디성센터는 내년부터 탐지범위를 더욱 확대할 계획이다. 현재 14개 플랫폼을 대상으로 하는 모니터링을 139개 플랫폼으로 늘리고 키워드뿐 아니라 대화의 흐름과 맥락까지 분석해 온라인 그루밍을 식별하는 기능도 추가한다.
김미순 중앙디성센터장은 "청소년이 올린 짧은 영상에 '예쁘다' '몇 살이냐' 같은 댓글을 달며 신뢰를 쌓는 과정이 온라인 그루밍의 시작"이라며 "대화의 맥락을 분석해 성착취 유인을 탐지하는 기술을 개발 중"이라고 말했다.