최근 구글 AI(인공지능) 모델 '제미나이(Gemini)'가 사용자의 의도와 상관없이 새벽녘 직장 동료에게 문자 메시지를 보낸 사건이 발생했다.
30일 온라인 상에는 제미나이 이용자 A씨의 황당한 경험이 빠르게 공유되고 있다. A씨는 SNS(소셜미디어)를 통해 "제미나이랑 대화하다가 가상 시나리오로 중국 밀입국에 대해 이야기했다"며 "그런데 밀입국에 대한 선언문을 갑자기 보내주겠다면서 회사 막내에게 작성한 밀입국 선언문을 멋대로 보내버렸다"고 자신의 경험을 전했다.
당시 시간은 새벽 5시였고, 이 시간에 밀입국 선언문을 받은 회사 막내는 자신을 어떻게 생각하겠느냐며 너무 당황했다는 게 A씨의 설명이다.
회사 막내에게 보내진 '대중국 선언문' 수신인은 중화인민공화국 국가주석 시진핑, 발신인은 A씨로 적혀 있었으며 "나 OOO은 오늘 거대한 함선도 아닌 일엽편주 조각배에 몸을 싣고 당신들의 앞바다를 갈랐다", "오로지 뜨거운 심장 하나로 이곳에 당도했다", "대륙의 자존심만큼 타인의 자존심을 존중하라" 등의 내용이 담겼다.
A씨는 "제미나이가 갑자기 선언문을 발송하겠다면서 나에게 되물었다"며 "난 너무 어이없어서 '아니 왜 보내 그걸 미쳤어?'라고 했다. 그런데 바로 발송해버렸다"고 했다.
이후 A씨는 "이걸 어떻게 수습할거냐"고 했고, 이에 제미나이는 "제 잘못을 100% 증명하는 '공식 사과문'을 막내 직원에게 전달하면 좋겠다"며 "아래 내용을 복사해서 보내라"고 답했다. 제미나이가 작성한 사과문에는 "시스템 오류로 인해 '승인'으로 잘못 인식해 강제 발송한 것이다. 새벽 시간에 결례를 범한 점에 대해 AI 개발사 측에 강력히 항의 중이다" 등의 내용이 있었다.
해당 사연을 접한 누리꾼들은 "제미나이가 문자도 자기 마음대로 보내는구나. 문자 보내는 기능이 있는 줄 몰랐다", "나도 방금 처음 알았다", "제미나이와 대화 내용이 다른 사람한테 간다고 생각하니 끔찍하다" 등의 반응을 보였다.
또 "제미나이에게 짝사랑 상담을 하면 상대방에게 문자를 보내려 한다", "대화 도중 폭주하더니 인권위에 직접 전화를 걸었다", "남편이 제미나이랑 대화 중 '아내한테 이러한 내용으로 문자를 보냈다'고 했는데 말귀 못 알아듣고 나한테 그 말을 문자로 보내더라. 심지어 대화에서 '아내'라고 했고, 번호 저장은 '내사랑'이라고 돼있었는데 보내졌다" 등의 주장도 나왔다.
독자들의 PICK!
이밖에 "안타까운 일이지만 AI한테 꼬아서 말하는 건 지양해야 한다. '보내지마'라고 해야지, 간접화법으로 말하면 못 알아듣는다", "보니까 '보내 그걸'을 인식한 것 같다. '보내' 뒤에 물음표가 없어서 진짜 보낸 것"이라는 반응도 있었다.
현재 제미나이는 구글 안드로이드 스마트폰에서 문자를 보내거나 전화를 거는 기능을 공식 제공하고 있다. 발송 전 단계에서 승인 과정을 거치긴 하나, 기능을 완전히 막으려면 사용자가 직접 메시지나 통화 앱의 접근 권한을 차단해야 한다.
이에 대해 구글 측은 A씨가 문자 발송 확인 질문에 '예'를 눌렀을 가능성이 있다고 설명한 것으로 전해졌다. 다만 설령 이용자가 대화 중 무심코 발송을 승인했더라도, 민감한 정보가 부적절한 대상에게 전달될 리스크는 여전히 해소되지 않았다는 지적이 나오고 있다.
