인공지능(AI) 발전에 따른 정부의 미래 위험 시나리오 중 약 20%가 의료 AI 등 보건복지부·질병관리청 소관의 문제로 나타났다. 이재명 정부가 AI 3대 강국을 천명하며 의료 AI에 대한 관심이 고조되는 가운데 데이터 편향과 보안·윤리 문제 등에 대한 선제적인 대책이 요구된다.
국가정보원은 최근 '인공지능 위험 사례집'을 발간하고 AI 기술이 △국가안보 △재난·재해 △경제·산업 △사회·민생 분야에서 야기할 수 있는 잠재적 위험 70건을 선정했다고 25일 밝혔다. 이 중 보건복지부·질병관리청과 관련한 위험 시나리오는 총 13건으로, 정부 부처 중에는 국가정보원(19건)·과학기술정보통신부(14건) 다음으로 많았다.
구체적으로 재난·재해 분야에서는 AI가 실수로 만든 바이러스가 팬데믹(세계적 대유행)을 일으킬 수 있다는 우려가 제기됐다. 자연계에 존재하지 않는 바이러스를 AI 스스로 만들고, 이것이 실험실에서 유출돼 코로나19 같은 팬데믹을 유발할 수 있다는 것. 국제 테러 조직이 생성형 AI를 이용해 의도적으로 '생화학 무기'를 만들 가능성도 점쳐졌다.
경제·산업·의료 분야 위험 시나리오에는 의료 AI의 오류 가능성이 중점적으로 다뤄졌다.
우선 해외에서 개발된 AI 영상 판독 시스템이 데이터 편향으로 한국인에겐 오류를 유발, 인종차별 등 사회적 논란을 일으킬 가능성이 점쳐졌다. 또 영상 판독과 병리 분석, 질병 진단에 쓰는 AI가 사실 오류가 있는 악성 모델일 경우, 의료진이 이를 알지 못하면 책임 소재에 대한 논란을 부르고 의료 과실 소송 등으로 비화할 것이란 우려가 나왔다. 실제 뉴욕대 연구진이 올해 초 국제학술지 '네이처 메디신'에 발표한 연구에서 기계 학습 데이터(corpus 토큰) 중 단 0.001%만 잘못된 정보로 바꿔도 이를 학습한 AI의 오류 빈도는 많이 증가한 것으로 나타났다.
환자의 진료, 복약 기록 등을 관리하는 의료 AI가 자체적으로 '더 나은 분석을 위해 다양한 데이터를 수집해야 한다'며 환자 정보를 무단 유출·공유할 가능성도 '위험 시나리오'에 포함됐다. AI 로봇 수술 시스템 오류로 환자가 사망할 경우 윤리적 논쟁이 격화하거나, 장애와 노화 극복을 위해 시각·청각 등을 보완하는 '감각 증강 AI'가 학교 시험이나 운동 경기 등 부정행위에 악용될 소지도 있는 것으로 분석됐다.
환자들이 정신과 전문의 대신 AI 챗봇 상담에 의존할 경우 우울증 등 치료 시기를 놓치는 사례가 급증할 수 있다는 우려도 나왔다. AI 챗봇과의 상호작용에 지나치게 의존해 허위 사실을 믿거나 과대·피해망상을 보이며 자살 충동을 겪는 'AI 정신병'이 심화할 수 있다는 것이다. 또 임상 근거 대신 논리만을 앞세운 AI 의료 논문이 오히려 '잘못된 근거'로 쓰여 인류 건강에 해가 될지 모른다는 내용도 담겼다.
사회·민생 분야에서는 AI로 위조한 '가짜 진단서'로 보험사기가 성행할 수 있어 위조 감시 솔루션 개발 등 대비가 필요하다는 분석이 담겼다. 복지에 관련해선 AI가 사회적 편견과 차별적 경향을 학습해 취약계층의 '지원 사각지대'를 초래하거나, AI 반려로봇의 보급이 확산하면서 되레 고령자·아동의 사회 소외 현상이 심화할 가능성이 점쳐졌다. AI 유전자 분석의 정확도가 상승하고, 가격은 낮아지면서 '유전자 계층'이 새로운 사회 갈등을 유발할 수 있다는 전망도 나왔다.
국정원은 의료 AI의 안정적인 개발·활용을 위해 윤리·보안 시스템을 사전에 강화해야 한다고 주문했다. 의사나 AI·보안 전문가 등 전문 인력이 체계적인 검증을 통해 신뢰성을 높여야 한다고도 했다. 국정원은 "국민 안전에 기반한 AI 사회 구현을 위해 더욱 상세한 위험요인 파악과 대책 마련이 시급히 이뤄지길 기대한다"고 밝혔다.