미국 캘리포니아주가 아동·청소년의 인공지능(AI) 챗봇 이용을 제한하는 법을 제정했다. 미국 내 주 정부 가운데 첫 행보다. 청소년들이 챗봇에 의존하면서 폭력·자살 충동을 느낀다는 등 부정적 사례가 늘자 법적 보호책 마련에 나선 것으로 보인다.
13일(현지시간) 미 의회전문지 더 힐에 따르면 개빈 뉴섬 캘리포니아 주지사는 AI 챗봇 개발 및 운영자에 안전장치 구현을 의무화하는 내용의 법안(SB 243)에 서명했다. 법안을 발의한 민주당 소속 스티브 파딜라(샌디에고) 의원은 "기업들이 혁신을 선도하는 과정에서 우리 아이들의 건강을 희생시키지 않도록 하는 게 정치인의 책임"이라고 말했다.
내년 1월 1일부터 발효되는 이 법안은 AI 챗봇 운영 기업이 이용자의 연령 확인 기능을 탑재하도록 강제한다. 또 AI 챗봇의 답변이 인공적으로 생성됐다는 걸 명확하게 알리고 상기시키도록 의무화했다. 예를 들어 챗봇이 미성년자와 대화할 땐 3시간에 한번씩 자신이 아니라고 알려줘야 한다. 미성년자와의 대화에선 노골적인 성적 콘텐츠를 생성하지 못하도록 한다.
또 '동반자 챗봇'으로 불리며 친밀한 대화 기능을 제공하는 챗봇이 이용자의 자살 충동이나 자해 표현을 식별하고 대응할 수 있는 장치를 마련하도록 했다. 또 해당 내용을 캘리포니아주 공중보건부에 보고하도록 했다.
더불어 챗봇이 의료 전문가인 것처럼 가장하는 행위를 금지하고, 미성년 이용자에게는 이용 중 3시간마다 휴식이 필요하다는 알림을 띄우도록 했다. 이어 챗봇이 생성한 성적으로 노골적인 이미지를 미성년자가 볼 수 없도록 차단 장치도 마련했다. 불법 딥페이크로 이익을 취할 경우, 건당 최대 25만 달러(약 3억6000만원)의 벌금을 포함해 처벌을 강화하는 내용도 담겼다.
뉴섬 주지사는 "챗봇과 소셜미디어 같은 신기술은 영감을 주고 사람들을 연결할 수 있지만, 실질적인 안전장치 없이는 우리 아이들을 착취하고 오도하며 위험에 빠뜨릴 수 있다"고 지적했다. 그러면서 "우리는 규제되지 않은 기술로 인해 피해를 본 청소년들의 참혹하고 비극적인 사례를 목격해왔다"며 "기업들이 필요한 제한과 책임 없이 운영하게 방관하지 않을 것"이라고 강조했다.
앞선 8월 캘리포니아에서는 10대 청소년이 오픈AI의 챗봇 '챗 GPT'와 장기간 자살 관련 대화를 나눈 끝에 실제 극단적 선택을 한 사건이 발생했다. 가족들은 오픈AI를 상대로 소송을 제기한 상태다. 비슷한 사례 신고가 늘어나면서 연방거래위원회(FTC)는 관련 조사를 시작했다.