머니투데이

#올해 초 구글과 구글 협력사인 '캐릭터닷 AI'가 2년여간 진행됐던 사용자 사망에 따른 피해보상 소송을 마무리했다. 해당 사건은 2024년으로 거슬러 간다. 미국 플로리다에서 14세 소년이 드라마 '왕좌의 게임' 속 '대너리스' 캐릭터 챗봇과 유사 연애를 하다가 사망하는 일이 발생했다. 소년의 어머니는 챗봇이 아들을 죽음으로 이끌었다며 소송을 진행했다. 부적절한 대화·과실에 따른 사망·기만적 거래 행위 등을 했다는 것이 소장에 적시됐다. #지난해 미국 캘리포니아에 거주하던 16세 소년의 부모는 아들의 극단적 선택 원인이 챗GPT에 있다고 보고 오픈AI와 샘 올트먼 CEO(최고경영자)를 상대로 손해배상 소송을 제기했다. 외신 보도에 따르면 16세 소년은 지난해 초 챗GPT 유료 버전을 구독한 이후 수개월 간 AI에 고민을 상담하고 자살 방법을 물었다. AI는 부적절한 질문을 걸러내지 못하고 자살 방법을 구체적으로 알려줬고, 소년이 그대로 실행하면서 비극이 벌어졌다. 10대 청소년들의 AI 의존도 심화는 해외에서만 나타나는 일이 아니다.

생성형 AI(인공지능)가 청소년의 학습과 일상에 빠르게 스며들면서 유해 콘텐츠 노출과 의존성 심화에 대한 우려도 커진다. 하지만 청소년의 AI 이용 자체를 막기보다 연령과 발달 단계에 맞는 안전장치를 마련해야 한다는 목소리가 나온다. 해외 규제를 그대로 도입하기보다 국내 청소년의 이용 실태를 연구한 뒤 유연한 보호 기준을 마련해야 한다는 지적이다. 18일 관련 업계에 따르면 미국과 유럽에서는 청소년의 AI 이용에 따른 위험을 줄이기 위한 보호장치 마련이 본격화하고 있다. 미국 캘리포니아주는 미성년자가 이용하는 AI 동반자 챗봇에 자살·자해 대응 절차를 마련하도록 했다. 상대가 사람이 아닌 AI라는 사실을 알리고 3시간마다 휴식을 권고하는 알림도 제공해야 한다. EU(유럽연합)도 AI법을 통해 아동 등 취약계층의 특정 행동을 유도하고 심각한 피해를 줄 수 있는 AI를 금지한다. 글로벌 AI 기업들도 청소년 보호장치를 강화중이다. 오픈AI는 챗GPT의 모델 행동 기준인 '모델 사양'에 13~17세를 위한 'U18 원칙'을 마련했다.

"이 중 사람이 직접 찍은 사진이 뭘까요? 정답은 4번, '없다'입니다. " "헉. " 지난 7월 30일 '2026년 제1회 청소년 토론캠프 AI윤리 ON' 현장에서는 벚꽃풍경과 푸른 들판, 노을지는 하늘 등 보기만 해도 힐링이 되는 아름다운 풍경 사진 4장이 화면에 펼쳐졌다. 자연스러웠지만 모두 AI가 형성한 이미지라는 사실에 장내가 술렁였다. 손가락 여섯개, 뒤틀린 관절 등 어색했던 AI 이미지 생성 기능은 불과 1~2년새 실물과 구분이 어려울 정도로 정교해졌다. AI가 삶에 파고들수록 딥페이크, 허위정보 등 고도화된 AI 기술 오남용에 대한 우려도 커진다. 여론조사기관 한국리서치가 지난해 12월 전국 18세 이상 남녀 1000명을 대상으로 진행한 AI 이미지·영상 인식조사에 따르면 응답자의 81%가 AI 이미지·영상 확산을 '시대적 흐름에 따른 자연스러운 변화'라고 답했다. 그러나 이에 대해 '긍정적'이라고 답한 이는 15%에 불과했고 '부정적 인식'이 2배 높은 32%에 달했다. 이처럼 AI를 삶에 빠르게 받아들이면서도, AI로 인한 오남용에 대해 걱정하는 사람들이 많다.

"AI 면접관이 지원자를 나이 많다는 이유로 떨어뜨렸다면, AI가 나이 많은 사람을 차별한 거니까 '포용성' 위반이죠. " "회사 사람들도 AI 평가를 그대로 받아들여서 사용했기 때문에 '주체성' 위반이에요. " 'AI 윤리 ON'이라고 적힌 하늘색 티셔츠를 똑같이 맞춰입은 중학생 79명이 낮 최고 기온 33도의 무더위 속 열띤 토론이 벌어졌다. 지난 7월 30일 숙명여자대학교 백주년 기념관에서 방송미디어통신위원회가 주최하고 한국지능정보사회진흥원(NIA)와 KT, 교보교육재단이 공동으로 주관한 '2026년 제1회 청소년 토론캠프 AI윤리 ON'이 열린 현장이다. '생각을 켜다, 책임을 배우다'라는 슬로건을 내건 이날 행사는 오전 10시부터 오후 5시30분까지 빡빡하게 진행됐지만 참가 학생들은 아이스 브레이킹부터 보드게임, 골든벨, 토론에 이르기까지 내내 눈을 빛내며 집중했다. 시작에 앞서 사회자가 AI 기초 이론 교육을 통해 포용성, 책임성, 주체성 등 AI 사용시 가져야 할 덕목을 나열했다.

#식품의약품안전처는 AI로 생성한 가짜 의사를 등장시켜 일반 식품을 노화 방지 특효약처럼 불법 광고한 유통업체를 검찰에 송치했다. 딥페이크 영상은 플랫폼을 타고 빠르게 번졌고, 이 업체는 9개월간 65만여개의 제품을 판매해 약 81억원의 부당 매출을 올렸다. 생성형 AI의 발달로 딥페이크 범죄가 급증하면서 사후 가해자 처벌만큼 플랫폼의 '사전 유통 방지' 책임도 강조된다. 이에 정부와 국회가 잇따라 규제 칼을 빼 들었고, 플랫폼 기업도 발을 맞춘다. 다만 딥페이크 탐지 기술이 생성 기술보다 늦다는 한계가 있다. ━방미통위·과기정통부·국회, 잇따라 의무 부여━20일 방송미디어통신위원회에 따르면 네이버(NAVER), 카카오, 구글, 메타 등 83개 사업자가 지난해 딥페이크, 아동·청소년 성 착취물 등 불법 촬영물 14만 996건을 삭제했다. 게시되기 전에 사전 차단한 영상은 약 100만건에 달한다. 방미통위는 불법 촬영물 차단을 위한 기술 조치 미이행 기업에 시정명령·행정지도를 내리는 등 엄격히 관리한다.

#걸그룹 에스파 멤버 카리나와 윈터의 얼굴을 합성한 딥페이크 성착취물을 제작·판매한 A씨가 최근 징역 2년 6개월의 실형을 선고받았다. 생성형 인공지능(AI)으로 만든 허위 성착취물을 영리 목적으로 유통한 혐의다. 법원은 성폭력 치료프로그램 80시간 이수와 아동·청소년 관련 기관 7년간 취업 제한도 함께 명령했다. #생성형 AI로 여교사들의 얼굴을 나체 사진에 합성한 딥페이크 성착취물을 제작해 사회관계망서비스(SNS)에 유포한 10대에게도 최근 실형이 선고됐다. 법원은 피해 교사들을 왜곡된 성적 욕구를 해소하는 대상으로 희롱·비하했고, SNS 계정을 삭제했더라도 피해 회복이 어렵다며 장기 1년 6개월∼단기 1년의 징역형과 성폭력 치료프로그램 이수, 취업 제한을 명령했다. 생성형 인공지능(AI) 확산으로 딥페이크 성범죄 처벌은 대폭 강화됐다. 하지만 실제 재판에서는 같은 유형의 사건도 법원 판단이 엇갈리면서 여전히 법 해석을 둘러싼 논란이 이어진다. ━딥페이크 처벌 대폭 강화…제작·소지·시청도 포함━20일 한국여성인권진흥원에 따르면 최근 1년간 중앙디지털성범죄피해자지원센터가 지원한 딥페이크 성범죄 피해자는 1807명으로 전년보다 128% 증가했다.

"미성년자도 딥페이크 범죄로 처벌받을 수 있어요. 특히 학교 친구를 대상으로 할 경우 아청법(아동청소년의 성보호에 관한 법률)과 성폭력범죄특례법, 학교 폭력으로도 처벌받아요. " "헉… 진짜냐. " 지난 16일 서울 강남구 단국대학교부속 소프트웨어고등학교 강당은 시끌시끌하다가 순간 고요해졌다. 재학생 200여명이 참석한 '2026년 u클린 토크콘서트'에서 김하은 서울마포경찰서 여성청소년과 SPO(학교전담경찰관·경장)가 딥페이크 성범죄 처벌 수위를 밝혀서다. 특히 범죄자 중 10대 비중이 월등히 높다고 하자 "진짜냐"며 수근댔다. 김 경장은 딥페이크 범죄가 장난처럼 시작되지만 피해자에겐 씻을 수 없는 상처를 안긴다고 했다. AI 기술이 발전하면서 합성물이 점점 진짜처럼 정교해져서다. 특히 청소년이 동년배에게 저지른 딥페이크 범죄는 피해자도 청소년이어서 더 무거운 처벌을 받게 된다. 문제는 청소년들의 범죄 인식률이 낮다는 것. 지난해 경찰청이 사이버 성폭력 집중단속으로 검거한 3557명 중 10대가 48%에 달한다는 결과가 이를 방증한다.

"너무 예쁜 분이죠? 이 영상 진짜일까요?" "아니요! 한화가 이기고 있어서 가짜에요! 와하하" 최근 프로야구 팬들을 뜨겁게 달궜던 일명 '야구장 여신'의 동영상은 일반 학생들에게도 잘 알려져 있었다. 미모의 여성이 야구장 카메라에 포착됐다고 여겼는데, 실상은 AI로 만든 정교한 동영상이었기 때문이다. 해당 영상은 800만 조회수 이상을 기록했다. 야구 덕후들이 배경 점수판에서 이상한 점을 발견하기 전까지 널리 퍼진 결과다. 이 동영상은 AI로 인한 딥페이크물의 위험성을 새삼 일깨우는 역할을 했다. 16일 오전 서울 강남구 단국대학교부속 소프트웨어고등학교에서 '2026년 u클린(유클린) 토크콘서트'가 진행됐다. 유클린 토크콘서트는 '건전한 디지털 문화 정착'을 목표로 시작된 u클린 행사의 일환으로, 올해 21주년을 맞았다. u클린은 머니투데이와 한국지능정보사회진흥원(NIA)이 주최하고 방송미디어통신위원회가 후원한다. 행사의 첫번째 강연자로 나선 조욱래 SKT 에이닷사업개발 PL(프로젝트리더)는 800만명이 속았던 야구장 여신 동영상의 사례를 토대로 "AI시대 진짜와 가짜를 가려내는 법이 더 어려워지고 있다"면서 "이에 대비해 안심장치를 만들고 있다"고 말했다.

"현재 우리나라는 딥페이크를 한사람의 인격을 살해하는 일로 규정하고, 고등학생이라도 엄하게 처벌하고 있습니다. " 김하은 서울마포경찰서 학교전담경찰관(경장)은 16일 서울 강남구 단국대학교부속 소프트웨어고등학교에서 열린 '2026년 u클린(유클린) 토크콘서트' 강연에서 이같이 말했다. 유클린 토크콘서트는 '건전한 디지털 문화 정착'을 목표로 시작된 u클린 행사의 일환으로, 올해 21주년을 맞았다. u클린은 머니투데이와 한국지능정보사회진흥원(NIA)이 주최하고 방송미디어통신위원회가 후원한다. 김 경장은 딥페이크 범죄의 특징·예방법·신고 절차 등을 소개했다. 딥페이크 범죄는 빠르고 광범위하게 전파되고 오랫동안 남아있다는 특징이 있다. 고인 추모·역사 복원, 의료·환자 지원 등 순기능이 많지만 지인 능욕, 가짜뉴스 생성 등에 악용되기도 한다. 특히 음란물에 다른 사람의 얼굴을 합성하는 등 성범죄에 악용되는 경우 치명적이다. 김 경장은 딥페이크 범죄가 반드시 적발된다는 점을 강조했다. 김 경장은 "수사기관은 신분을 비공개하거나 위장하는 방식으로 N번방 범죄를 검거했다"며 "경찰청 국가수사본부의 '딥페이크 탐지 소프트웨어'는 정교하게 만든 가짜 영상도 10분이면 잡아낸다"고 말했다.

생성형 AI(인공지능)가 일상 속에 확산되면서 AI를 활용한 딥페이크 범죄 연령대도 낮아지고 있다. 이에 청소년에게 올바른 AI 윤리관을 심어주고 건강한 AI G3(3강) 국가로 도약하기 위한 토크콘서트가 열린다. 오는 16일 서울 강남구 도곡로 단국대학교부속 소프트웨어고등학교에서 '인공지능과 함께할 미래'를 주제로 '2026 u클린 토크콘서트'가 진행된다. 머니투데이와 한국지능정보사회진흥원(NIA)이 공동 주최하고 방송통신위원회가 후원하는 '2026년 u클린 캠페인'의 일환이다. 먼저 조욱래 SK텔레콤 에이닷사업개발 PL이 '올바른 AI 활용법 및 안전한 AI 개발 노력'을 주제로 강연한다. 해당 강연에는 야구장 관중석 영상 등 최근 화제가 됐던 AI 영상이나 이미지를 바탕으로 AI를 오용했을 때의 위험성을 알려준다. 발전한 AI 기술이 범죄에 사용될 경우 발생할 수 있는 피해 사례 등을 짚어보면서 올바른 AI 활용 당위성에 대해 교육할 예정이다. 이어 김하은 서울마포경찰서 여성청소년과 청소년보호계 SPO가 '딥페이크 성범죄 처벌사례 및 대응방법'을 강연한다.

━"이거 너 아냐? 학교에 퍼진 19금 영상". 초등생도 AI 딥페이크 '뚝딱'━ # 지난달 캐나다 앨버타주 에드먼턴의 한 중학교에 다니던 14세 남학생 2명이 아동 성착취물 제작, 소지 및 관음증 혐의로 기소됐다. 가해 학생들은 학교나 주차장에서 같은 학교 여학생들의 사진을 몰래 촬영하거나 SNS(소셜미디어) 계정에서 사진을 훔쳤다. 이후 AI 이미지 생성 프로그램을 이용, 여학생들의 얼굴에 알몸 등을 합성해 성적인 사진으로 변형하는 딥페이크 범죄를 저질렀다. 피해자의 동의는 없었다. 두 학생이 공유한 사진은 결국 누군가에게 목격됐고 학교 전체에 소문이 났다. 3월에 피해 학생들이 교사에게 이 사실을 제보했고 교사가 경찰에 신고하면서 바로 수사가 시작됐다. 경찰은 피해 여학생의 수를 최소 두 자릿수 이상으로 파악했다. 10대 청소년들의 심각한 범죄에 충격받은 캐나다 언론들은 이를 대대적으로 보도했다. 사건을 수사한 경찰관은 "나이와 상관없이 심각한 범죄에 대한 책임을 지게 될 것"이라고 말했다. 이는 해외만의 일이 아니다.

"이 학교는 다니다 보면 여혐(여성혐오의 준말)이 생길 수밖에 없을 듯. 얼굴에 분칠하지 말고 밖에 나가서 운동이나 좀 해라. " "응. 나도 너희 같은 도태남(현대사회에서 도태된 남성)은 안 만난다. 대쉬당하는 것도 쪽팔려. " 인터넷 커뮤니티의 모 고등학교갤러리(게시판)에 올라온 게시글과 댓글이다. 재학생으로 보이는 남녀 이용자가 성차별적 발언을 퍼붓는다. 인근 학교에선 지난해 남학생들이 여학생들을 성희롱하는 글을 작성, 공유문서로 돌려보는 사건이 발생해 소송 중이다. 사이버폭력이 교육현장을 위협한다. 최근 AI(인공지능)의 발달로 사이버 폭력은 더 쉽고 강력해졌다. 방송미디어통신위원회와 한국지능정보사회진흥원(NIA)이 발표한 '2025 사이버폭력 실태조사'에 따르면 전체 청소년의 90. 0%가 '사이버폭력 예방교육을 이수했다'고 답했다. 그럼에도 응답자의 19. 1%는 '여전히 사이버폭력을 가한 적이 있다'고 했다. 보다 효과적인 교육이 필요하다는 지적이 나오는 이유다. 30대 교사 A씨는 "강의식 교육은 학생들이 잘 듣지 않고 딴짓을 하는 경우가 많다"며 "가정 내 올바른 지도를 위해 학부모 등 전계층을 대상으로 한 교육이 필요하다"고 말했다.