내년 1월1일 발효… 폭력 등 부정적 사례증가에 법적조치
미국 캘리포니아주가 아동·청소년의 AI(인공지능) 챗봇 이용을 제한하는 법을 제정했다. 미국 주정부 가운데 첫 행보다. 청소년들이 챗봇에 의존하면서 폭력·자살 충동을 느낀다는 등 부정적 사례가 늘자 법적 보호책 마련에 나선 것으로 보인다.
13일(현지시간) 미 의회 전문지 더 힐에 따르면 개빈 뉴섬 캘리포니아주지사는 AI 챗봇 개발 및 운영자에게 안전장치 구현을 의무화하는 내용의 법안(SB 243)에 서명했다. 법안을 발의한 민주당 소속 스티브 파딜라(샌디에이고) 의원은 "기업들이 혁신을 선도하는 과정에서 우리 아이들의 건강을 희생시키지 않도록 하는 게 정치인의 책임"이라고 말했다.
내년 1월1일부터 발효되는 이 법안은 AI 챗봇 운영기업이 이용자의 연령확인 기능을 탑재하도록 강제한다. 또 AI 챗봇의 답변이 인공적으로 생성됐다는 걸 명확하게 알리고 상기시키도록 의무화했다. 예를 들어 챗봇이 미성년자와 대화할 땐 3시간에 한 번씩 자신은 사람이 아니라고 알려줘야 한다. 또 미성년자와의 대화에선 노골적인 성적 콘텐츠를 생성하지 못하도록 한다.
또한 '동반자 챗봇'으로 불리며 친밀한 대화기능을 제공하는 챗봇이 이용자의 자살충동이나 자해표현을 식별하고 대응할 수 있는 장치를 마련하도록 했다. 해당 내용을 캘리포니아주 공중보건부에도 보고하도록 했다.
더불어 챗봇이 의료전문가인 것처럼 가장하는 행위를 금지하고 미성년 이용자에게는 이용 중 3시간마다 휴식이 필요하다는 알림을 띄우도록 했다.
이어 챗봇이 생성한 성적으로 노골적인 이미지를 미성년자가 볼 수 없도록 차단장치도 마련했다. 불법 딥페이크(이미지·음성합성기술)로 이익을 취할 경우 건당 최대 25만달러(약 3억6000만원)의 벌금을 포함해 처벌을 강화하는 내용도 담겼다.
뉴섬 주지사는 "챗봇과 소셜미디어 같은 신기술은 영감을 주고 사람들을 연결할 수 있지만 실질적인 안전장치 없이는 우리 아이들을 착취하고 오도하며 위험에 빠뜨릴 수 있다"고 지적했다. 그러면서 "우리는 규제되지 않은 기술로 인해 피해를 본 청소년들의 참혹하고 비극적인 사례를 목격해왔다"며 "기업들이 필요한 제한과 책임 없이 운영하게 방관하지 않을 것"이라고 강조했다.