AI 캐릭터 채팅앱에서 선정적이고 자극적인 대화가 생성된다는 민원이 계속되고 있지만 정부가 관련 가이드라인 준수 여부를 조사한 사례는 한 건도 없는 것으로 확인됐다. 청소년 보호책임자 지정 여부도 이제야 검토에 들어갔다.
19일 방송미디어통신위원회는 머니투데이 질의에 "AI 채팅앱의 선정성·자극적 콘텐츠에 관한 민원이 지속해서 접수되고 있다"고 밝혔다. 지난해 3월 시행한 '생성형 인공지능 서비스 이용자 보호 가이드라인'의 준수 여부에 대해서는 "별도로 조사한 바 없다"고 답했다.
AI 캐릭터 채팅앱은 이용자가 AI로 구현된 인물과 대화하며 이야기를 만드는 서비스다. 뤼튼테크놀로지스의 '크랙'과 스캐터랩의 '제타'가 대표적이다. 앱을 열면 '자취방에 놀러 오는 여사친', '나를 싫어하는 일진녀', '나와 아이를 갖기 위해 머리 굴리는 조직 보스 남편'처럼 선정적이거나 자극적인 설정의 캐릭터가 노출된다. 대화 흐름에 따라 성적 접촉이나 강압적인 상황도 생성된다.
정부 가이드라인은 이용자 인격권 보호와 AI 생성물 고지, 편향·차별 방지, 입력 데이터 관리, 위험관리 체계 구축, 건전한 유통·배포 등 6대 원칙을 담고 있다. 방미통위는 가이드라인을 만들 당시 사업자들의 자율규제 현황을 파악해 내용을 마련했다. 그러나 시행 이후 각 사업자가 원칙을 지키는지는 한 번도 확인하지 않았다.
이유는 강제력이 없기 때문이다. 방미통위는 "가이드라인은 법적 구속력이 없고 사업자의 자율적 조치를 권고하는 수준이어서 준수 여부를 조사하지 않았다"고 설명했다. 원칙을 어겨도 제재할 수 없고 사업자가 이행 상황을 보고할 의무도 없다.
AI 채팅앱은 전기통신사업법상 부가통신역무이자 정보통신망법상 정보통신서비스다. 청소년보호법상 매체물, 인공지능기본법상 AI 제품·서비스에도 해당한다. 여러 법의 적용 대상이지만 수시로 바뀌는 AI 대화의 수위를 출시 전에 확인하거나 가이드라인 이행을 상시 점검하는 절차는 없다. 문제가 생긴 뒤 사안별로 담당 기관을 찾는 구조다.
청소년 보호 장치도 사업자 자율에 맡겨져 있다. 크랙과 제타는 약관과 정책에 청소년이 유해정보에 노출되지 않도록 노력하고 미성년자의 결제에는 법정대리인 동의를 받는다는 원칙을 두고 있다. 하지만 현행 정보통신망법에는 청소년의 결제액을 직접 제한하는 규정이 없다. 최대 단건 결제액은 크랙 12만6000원, 제타 14만원이며 누적 결제 한도도 없다.
방미통위는 현재 AI 채팅앱 사업자가 정보통신망법상 '청소년 보호책임자 지정 의무 사업자'에 해당하는지 검토하고 있다. 매출액 10억원 이상 또는 하루 평균 이용자 10만명 이상인 정보통신서비스 제공자가 대상이다. 지정되면 사업자는 청소년 보호계획을 세우고 유해정보 차단과 피해 예방 업무를 맡을 책임자를 둬야 한다.
방미통위 관계자는 "의무 사업자에 해당하는 AI 채팅앱에는 선정적 대화가 가능한지, 연령 확인 절차를 제대로 갖췄는지 등을 점검할 계획"이라고 말했다. AI 채팅앱도 심의를 거쳐 청소년유해매체물로 결정될 수 있다. 다만 이 역시 신고와 심의가 이뤄진 뒤 작동하는 사후 조치다. 보호책임자 지정 대상 검토와 현장 점검 일정도 확정되지 않았다.
점검 체계를 논의하는 사이 서비스는 빠르게 성장했다. 와이즈앱·리테일에 따르면 지난달 제타의 실행 횟수는 20억800만회로 챗GPT의 18억1700만회를 넘어섰다. 크랙도 1억2200만회 실행됐다. 이날 구글플레이 비게임 앱 매출 순위에서도 크랙과 제타는 각각 17위와 19위에 올랐다. 민원은 쌓이고 이용자와 결제 규모는 커졌지만 정부 조사는 0건인 상태다.
