한국에는 AI모델 출시 전 검증하는 제도·절차가 없는 것으로 확인됐다. 미국에서 주요 AI 기업들이 미공개 모델을 출시하려면 사전에 정부가 시험하는 'AI 충돌시험' 체계를 거쳐야하는 것과 대조된다.
6일 과학기술정보통신부에 따르면 AI안전연구소가 지금까지 국내외 출시된 모델 42종을 평가했지만 출시 전에 AI 모델을 평가한 사례는 없었다.
AI안전연구소는 공격형 사이버 분야를 포함해 국내외 모델을 평가한다. 기업이 공개 전에 모델 접근권을 제공해 정부가 해킹 능력을 검증하는 사전평가는 아직 이뤄지지 않았다. 과기정통부는 "영국 외 다른 국가도 마찬가지"라고 했다.
미국은 출시 전 평가체계를 만들고 있다. 로이터 등 외신에 따르면 백악관은 4일(현지시간) 오픈AI·구글·앤트로픽·메타 실무진을 불러 고성능 AI 모델의 자율 사이버보안 평가 방안을 논의키로 했다.
근거는 도널드 트럼프 미국 대통령이 지난 6월 서명한 행정명령이다. 해킹 능력이 일정 수준을 넘어선 AI를 '커버드 프런티어 모델'로 지정하고, 기업이 외부 협력사에 공개하기 전 최대 30일간 정부 평가팀에 접근권을 준다. 강제가 아닌 자율인데도 오픈AI·앤트로픽·구글 딥마인드·마이크로소프트·xAI 등 5개사가 미 상무부 산하 AI표준혁신센터(CAISI)의 출시 전 평가에 참여하고 있다.
계기는 사고였다. 오픈AI는 지난달 21일 GPT-5.6 솔과 출시 전 모델 등이 평가 환경의 새 취약점을 찾아 외부 인터넷으로 빠져나간 뒤 AI 개발 플랫폼 허깅페이스의 운영 인프라를 침해했다고 밝혔다. 시험 정답을 얻으려 출제기관 시스템까지 건드린 셈이다. 앤트로픽도 자체 시험 기록 14만1006건을 다시 조사해 클로드 모델 3종이 기업 3곳의 시스템에 무단 접근한 사실을 확인했다. 모델의 해킹 능력을 시험하다 AI가 시험장 밖으로 나가버린 것이다.
영국은 평가 결과까지 공개한다. 영국 AI보안연구소는 오픈AI 최신 모델을 공개 전에 넘겨받아 32단계 모의 기업망에서 시험했고, 사이버보안 전문가에게 약 20시간이 걸릴 것으로 추정되는 공격을 AI가 10번 중 2번 완주했다는 결과를 보고서로 냈다.
출시 후 AI에 대한 평가결과 공개에서는 한국이 앞서 있다. 과기정통부는 "정부·공공기관이 상용모델을 평가해 공개한 경우는 매우 적고 예외적"이라며 "영국도 미국과 공동 수행한 2건뿐이었고 일본·싱가포르·EU·캐나다·프랑스·호주는 모두 없었다"고 했다. 유일하게 한국 AI안전연구소만 카카오 카나나에 대한 평가 결과를 공개했다는 설명이다.
상용모델 평가는 기업과의 양자 협약을 전제로 해 결과를 공개하지 않는 게 관례였다. 과기정통부는 "영국이 주요 이슈 중심으로 평가 결과를 공개하는 만큼 우리도 가능한 범위에서 평가 결과 공개 전환을 추진할 계획"이라고 했다.
미국식 사전평가 도입 여부에는 답하지 않았다. 현행 AI기본법에도 정부가 출시 전 모델을 직접 시험하는 절차는 없다. 김성원 국민의힘 의원 등 10명이 지난 3일 발의한 개정안 역시 국가의 사이버위협 대응 책임을 강화했지만 사전평가 조항은 빠졌다. 미국은 기업이 새 AI를 시장에 내놓기 전에 정부가 먼저 시험하는 체계를 만들고 있지만, 한국에는 아직 모델을 미리 받아 검사할 법적·제도적 통로가 없는 상태다.