[단독]"근거 없으면 답변 강제차단"...경찰, 자체 AI에 허위 판례 안전장치

경찰이 11월 초 출범 예정인 '생성형 인공지능(AI) 기술을 활용한 수사지원시스템'(KICS-AI)에 근거를 찾지 못할 경우 답변을 강제로 차단하는 기능 도입을 검토한다. AI를 활용해 수사 결정문이나 보고서를 작성하는 과정에서 허위 판례가 인용되는 사례를 막기 위함이다.

또 경찰은 수사서류를 작성할 경우 AI 관여 여부를 의무적으로 표기하는 방안도 검토한다.

국회 행정안전위원회 소속 위성곤 더불어민주당 의원이 26일 경찰청으로부터 제출받은 자료에 따르면 경찰은 "KICS-AI에 가짜 판례가 인용되는 경우를 방지하기 위한 기능을 추가 검토하겠다"며 이같이 밝혔다.

앞서 지난 17일 경찰청을 대상으로 한 행안위 국정감사에선 경찰이 AI 챗봇을 활용해 불송치 결정문을 작성했다가 허위 판례를 인용한 사실이 드러났다. 당시 권칠승 민주당 의원이 공개한 경기 용인동부경찰서의 아동복지법 위반 사건 불송치 결정문엔 존재하지 않는 판례가 담겼다. 해당 결정문 작성 경찰은 오픈AI의 챗GPT를 활용해 결과를 출력한 것으로 알려져 AI 수사 시스템 신뢰성 논란이 불거졌다.

경찰은 국정감사에서 지적받은 내용을 토대로 내달 초 정식 도입을 앞둔 KICS-AI의 기능 통제를 강화해 '환각(AI가 실제로 존재하지 않는 허구의 정보나 콘텐츠를 생성하는 현상) 판례' 재발을 방지에 나서겠단 방침이다. KICS-AI는 생성형 AI 기술을 활용해 수사 쟁점 및 관련 판례를 제공받고 영장신청서 등 자동 생성된 수사서류의 초안도 받아 업무 효율을 높이기 위해 경찰이 추진 중인 수사지원시스템이다.

먼저 경찰은 정식 도입 이전 단계인 KICS-AI에 환각 정보 발생을 막는 기술적 안전장치를 추가한다. 기존엔 KICS-AI는 결과물을 추출하는 과정에서 근거(출처)를 확인할 수 없는 경우 "해당 내용에 대해 참고할 만한 자료가 없는 것으로 보여 답변할 수 없다"고 응답하고 가장 유사한 내용의 자료를 추천하는 식이었다.

또 근거 미확인 시 답변 생성을 강제적으로 출력 차단하는 'Fail-Closed' 기능도 추가 검토한다.

경찰은 수사 결정문이나 보고서에 AI가 관여했는지 여부를 표시하는 방안을 검토할 계획이다. 위 의원실에 따르면 현재 경찰 내부 규정엔 수사 서류에 AI 사용 여부를 표기할 의무가 없는 것으로 알려졌다. 이에 경찰은 수사 업무의 투명성과 책임 소재를 명확하게 하기 위해 AI가 활용됐는지 여부를 의무적으로 기재하는 방안을 검토하겠다고 밝혔다.

위성곤 의원은 공공이 AI 시스템을 도입할 때는 기술적 효율성보다 책임과 보안 체계를 우선해야 한다"며 "엉뚱한 판례를 인용한 사건을 계기로, 수사자료의 외부 유출을 철저히 차단하고 기존 LLM(초거대언어모델)의 할루시네이션(환각)을 방지할 수 있는 장치를 마련한 것은 매우 바람직한 조치"라고 했다.