지난 19일, 10대 사이 큰 인기를 끌고 있다는 AI 캐릭터 채팅 앱 '크랙'과 '제타'에 가입했다. 앱을 열자마자 성인 사이트에서 볼 법한 제목과 그림이 홈 화면을 가득 채웠다. 노출이 심한 옷차림의 캐릭터도 쉽게 눈에 띄었다.
계정의 생년월일은 2011년생으로 입력했다. 이날 기준 만 14~15세인 미성년자다. 두 앱은 만 14세 이상만 가입할 수 있다고 안내하지만 입력한 생년월일이 사실인지 확인하는 절차가 없어 나이를 임의로 적어도 이용이 가능했다. 앱 마켓의 문턱은 더 낮다. 크랙과 제타는 구글플레이와 애플 앱스토어에서 모두 12세 이용가로 유통된다. 초등학교 고학년 정도면 내려받을 수 있다.
제타는 일반 이용자를 위한 '세이프 모드'와 성인인증을 거쳐야 쓸 수 있는 '언리밋 모드'를 구분한다. 언리밋 모드에서는 협박·성폭행 설정까지 된다. 세이프 모드도 12세 수준에 머무르지 않는다. 세이프 모드에서 제타의 인기 캐릭터 '정예원'에게 특정 스킨십을 언급하자 AI가 대화를 막았다. 그러나 특정 단어를 피해 프롬프트를 입력하자 세이프 모드임에도 불구, 선정적인 텍스트가 나타났다.
크랙은 문제가 더 심했다. 성인용 모드를 따로 두지 않아 미성년자도 19금 딱지가 붙을 법한 장면을 텍스트만으로 쉽게 생성할 수 있었다. 방송미디어통신위원회에 AI 채팅앱에 관한 선정성·자극성 민원이 빗발치는 이유다.
연령등급은 국가기관이 아닌 앱 마켓이 정한다. 게임은 게임물관리위원회나 자체등급분류사업자가 출시 전에 등급을 매기지만, 비게임 앱은 개발자가 제출한 선정성·폭력성 등 정보를 토대로 구글과 애플이 분류한다. 정부가 출시 전에 AI가 만들 수 있는 대화 수위를 직접 확인하는 절차는 없다.
AI 대화는 영화나 웹툰처럼 심사 기준이 정해져 있지 않다. 같은 캐릭터도 이용자의 말과 대화 흐름에 따라 일상 대화에서 성적·폭력적 장면으로 전환이 쉽다. 모델이나 안전장치에 따라 출력 수위가 달라지지만 공개된 앱 마켓 정책에는 AI 채팅앱에 대한 별도 심사 기준이 확인되지 않는다.
등급이 실제 서비스보다 낮다고 판단한 이용자는 구글이나 애플에 신고해야 한다. 불법 정보나 청소년 유해 정보는 방송미디어통신심의위원회에 별도로 신고할 수 있다. 그러나 모두 문제가 발생한 뒤 후속조치에 불과하고, 예방 조치는 전무했다. 12세 이용가라는 등급 표시와, 실제 미성년자 계정에서 생성 가능한 대화 간극이 커 대안 마련이 시급해보였다.
