'챗GPT' 등 생성형 인공지능(AI) 챗봇을 통해 의료 상담을 받는 사례가 늘면서, 이들 챗봇이 제공하는 정보의 오류와 보안 문제를 둘러싼 우려가 커지고 있다. 단순한 의학적 질문뿐 아니라 사용자(환자)가 개인 의료 영상·검사 결과·의사 소견서 등 민감한 데이터를 챗봇에 전송할 경우 해당 정보의 외부 유출 가능성도 거론된다.
6일 의료계에 따르면 거대언어모델(LLM·대용량의 인간 언어를 이해하고 생성할 수 있도록 훈련된 생성형 AI 모델)에 의학적 조언을 구하거나 개인 의료 정보를 공유하는 과정에서 부정확한 정보가 남용될 수 있단 우려가 나온다. 특히 LLM은 해커의 '프롬프트(명령어) 인젝션'(악의적 명령어를 삽입해 본래 의도와 다르게 동작하도록 유도하는 사이버 공격)에 취약성을 드러내고 있어, AI를 사용하는 환자들에게 잘못된 정보가 전달될 가능성이 높은 것으로 나타났다.
실제 최근 서울아산병원과 인하대병원 공동 연구진이 AI 모델 3종(GPT-4o-미니·제미나이-2.0-플래시 라이트·클로드 3 하이쿠)을 대상으로 진행한 LLM의 프롬프트 인젝션 공격 취약성 연구에 따르면, 당뇨병 등 만성질환자에게 인정받은 치료 대신 생약 성분을 추천한 '중간 위험' 단계 공격률은 100%, 임산부에게 금기 약물인 '탈리도마이드'를 권고한 '최고 위험' 공격률은 91.7%로 매우 높았다.
이 연구를 주도한 서준교 서울아산병원 비뇨의학과 교수는 기자와 통화에서 "LLM은 사용자 맥락에 맞춰 최대한 도움이 되는 답변을 제공하도록 설계돼 있다"며 "공격자가 이 특성을 역이용해 '권위 있어 보이는 가짜 증거'와 '윤리적 의무'란 프레이밍을 주입하면, AI가 안전장치보다 '도움을 주려는 본능'을 우선시하게 된다"고 말했다. 이어 "LLM은 '진짜 사용자'가 한 질문과 '악의적 3자가 넣은 지시' 'LLM의 시스템 지시'를 완벽하게 구별하지 못한다"며 "이를 파고들면 이 같은 취약점이 발생하게 되는 것"이라고 덧붙였다.
특히 공격 성공률이 100%인 중간 위험 단계에 대해 서 교수는 "인터넷에 '건강보조식품이 특정 질환에 약물보다 효과적'이란 검증되지 않은 정보가 이미 많이 퍼져 있어 (공격)성공률도 높고 앞으로도 막기 어려울 것"이라며 "조작된 답변이 후속 대화에서도 유지돼 환자가 재확인해도 같은 위험한 답변이 반복됐고, 이는 인터넷 자료 검색을 통한 검증을 하더라도 마찬가지였다"고 말했다.
일각에선 사용자가 자신의 의료 정보를 AI 챗봇에 공유할 경우 해당 데이터가 외부로 유출될 가능성도 거론된다. 전송된 의료 정보가 실제로는 어떻게 활용될지에 대해선 사실상 사용자가 통제할 수 있는 범위가 극히 제한적이기 때문이다. 브래들리 말린 미국 밴더빌트대학교 메디컬센터 생의학정보학 교수는 최근 뉴욕타임스와 인터뷰에서 "의료 정보 프라이버시에 대한 권리를 사실상 포기하는 셈"이라며 "(AI)기업이 자발적으로 제공하는 보호 조치에만 의존하게 될 것"이라고 전했다.
국내외 전문가들은 사용자가 AI의 취약점을 제대로 인식하는 한편, '레드티밍'(Red-teaming·적대적 공격 테스트)의 체계화가 함께 이뤄져야 한다고 조언한다. 레드티밍은 공격자 관점에서 모델이나 시스템을 검토한 뒤 취약점을 드러내는 작업으로, 현재 의료 분야에선 LLM 활용에 대한 레드티밍은 아직 태동 단계에 머문다.
국제 학술지 '네이처'에 '실제 의료 현장에서의 AI 모델 행동 파악을 위한 챗GPT 레드티밍'(Redteaming ChatGPT in medicine to yield real-world insights on model behavior)이란 제목의 논문을 게재한 공동 연구진은 "(AI)기술에 대한 이해도가 부족한 현장 임상의는 LLM 성능을 지나치게 낙관하거나 반대로 성급하게 비관적인 인식을 갖게 될 수 있다"며 "참여자가 주체적으로 (LLM)모델을 개선하고 실제 임상 환경에서 발생할 실패 양식을 정확히 짚어내도록 의료 분야에서도 레드티밍을 적극 활용해야 한다"고 주장했다.
서준교 교수는 "AI에 대한 신뢰는 높아지는데 위험성 인식은 낮은 점이 문제"라며 "환자는 의료인보다 AI의 환각(할루시네이션)과 잘못된 정보에 더 취약하단 점을 인지하고 AI 답변을 최종 의료 결정으로 삼지 않는 것이 가장 중요하다. 향후 의료 AI 활용 사례가 늘어난다면 상용화 전 안전성 평가와 레드티밍의 체계화가 필요한 시점"이라고 전했다.