중국이 생성형 AI와 감정적으로 상호작용하는 것에 대한 규제에 나섰다. 생성형 AI와 감정을 교류하는 것에 대한 우려는 전 세계적으로 있었으나 규제하는 것은 중국이 처음이다.
24일 IT 업계에 따르면 중국은 오는 7월15일부터 '인공지능 의인화 상호작용 서비스 관리 잠정방법'을 공식적으로 시행한다. 규정은 AI 의인화 상호작용 서비스를 정의하고 이런 서비스를 제공하는 업체가 지켜야 할 의무를 정하고 있다.
규정에 따르면 '인공지능 의인화 상호작용 서비스'는 실제 인간의 성격, 사고방식, 대화 스타일을 모방해 이용자와 지속해서 감정적으로 상호작용하는 서비스다. 여기에는 텍스트·이미지·음성·영상 등을 통해 제공되는 정서적 돌봄·동반·지지와 같은 서비스가 포함된다. 다만 지속적인 감정적 상호작용을 수반하지 않는 지능형 고객 응대, 지식형 질의응답, 업무 보조 등은 제외된다.
의인화 상호작용 서비스 제공 시 이용자에게 과하게 영합하거나 정서적 의존 또는 중독을 유발해 이용자의 실제 대인관계를 해치는 콘텐츠를 생성하면 안 된다. 또 감정 조작을 통해 비합리적 결정을 내리도록 유도해 이용자의 정당한 권익을 침해하는 콘텐츠를 생성해서도 안 된다.
아울러 이용자가 극단적 감정을 보이는 경우 즉시 정서적 안정과 도움 요청을 권장하는 콘텐츠를 제공해야 한다. 이용자가 상당한 재산 피해에 직면했거나 이미 피해를 본 경우 또는 극단적 선택 의사를 명시적으로 표명한 경우 등에는 필요한 개입 조치를 수행해야 하며 비상 연락처로 즉시 연락을 취해야 한다.
중국이 이런 규제를 시행한 것은 자국 내 정서 교류가 일어나는 여성향 게임이 폭발적으로 성장하고 있어서다. 2024년 중국 내 여성향 게임 시장 규모는 80억위안을 넘기며 전년 대비 124.1% 증가했다. 기존 단편적인 연애 판타지 구조를 벗어나 현대 직장생활, 도시 경영 등 다양한 요소를 접목해 몰입도와 감정적 공감대를 높인 것이 특징이다. 여기에 LLM(대규모언어모델), 에이전트 AI 등을 도입해 현실감을 높이고 있다.
중국의 이런 규제에 국내 게임 업계도 긴장하고 있다. 최근 게임 내 NPC(Non-Player Character)에 생성형 AI를 적용해 이용자와 감정적으로 소통하는 기술이 발전하는 상황에서 중국 진출에 걸림돌이 생기는 것 아니냐는 우려다. 국내 AI 기본법에서 고영향 AI를 규제하고 있으나 적용 대상과 의무 범위가 아직 모호해 대다수 기업은 제대로 대처하지 못하고 있다.
앞으로 중국 시장에 진출하려는 게임은 캐릭터가 이용자에게 과도한 정서적 의존을 유발하거나 가스라이팅 등 비합리적인 결정을 유도하지 않도록 설계 단계부터 윤리적 가이드라인을 적용해야 한다. 또 서비스 대상 연령층을 재점검해 각 연령대에 맞는 맞춤형 안전 가이드와 인터페이스를 개발해 리스크를 줄여야 한다.
IT 업계 관계자는 "중국이 전 세계에서 최초로 이 분야 규제를 구체화한 만큼 해당 규정은 향후 다른 국가들도 벤치마킹할 가능성이 높다"며 "이 기준에 맞춰 서비스 프로세스를 선제적으로 구축해야 향후 글로벌 시장에서 경쟁력을 가질 것"이라고 말했다.