정부가 국가대표 AI를 선발하는 '독자 AI 파운데이션 모델(독파모)' 2차 평가와 관련 추가 점수를 공개할지 여부를 검토하고 있다. 이날 오전 2차 평가전에서 탈락한 모티프 테크놀로지스가 구체적인 점수 공개를 요구하며 이의신청을 한데 따른 조치다.
김경만 과학기술정보통신부 AI정책실장은 27일 오전 취재진과 만난 자리에서 모티프의 이의신청에 대해 "독파모 제도의 공정성과 객관성에 최대한 가치를 두고 이날 오후 중 추가 점수 공개 범위를 결정해 발표하겠다"고 밝혔다.
김 실장은 "우리는 특정 기업의 점수를 공개해 경쟁을 부추기거나 탈락 기업의 부정적 이미지가 부각되는 것을 원하지 않는다"면서 "앞으로도 평가의 공정성과 객관성을 최우선으로 고려하겠다"는 입장을 내놨다.
이날 오전 모티프 테크놀로지스는 독파모 2차 평가에서 탈락 원인으로 꼽힌 사용성·활용성 평가에 대해 구체적인 평가 점수를 알려달라며 이의신청했다. 이에 사용자 평가, 전문가 평가의 구체적인 평가 기준, 단계별 달라지는 평가 기준에 대한 질문이 이어졌다.
이와 관련 김 실장은 "독파모는 공정해야 하고 모두가 의심하지 않아야 한다는 게 원칙"이라며 "점수를 공개해 기업 간 경쟁을 부추기고 싶은 생각은 없었기 때문에 2차 평가 때 항목별 점수를 발표하지 않았던 것"이라고 말했다. 그러나 각 기업에는 개별 평가점수가 전달된 만큼 기업들은 자신의 점수와 전체 평균 등을 비교해 결과를 확인할 수 있다는 설명이다.
또 경쟁 방식으로 진행되는 독파모 특성상 점수가 공개되면 하위권 기업의 모델이 실제 성능 이상으로 부정적으로 인식될 수 있다는 우려도 나타냈다. 김 실장은 "탈락한 기업들의 모델이 안 좋은 모델로 인식될까 우려된다"면서 "모티프도 잘하고 다른 기업들도 잘했다는 점을 봐줬으면 한다"고 말했다.
차수별로 달라진 기준은 업계와 평가자 간 합의에 의한 것이라고 설명했다. 그는 "독파모 평가점수 항목별 기준은 평가자와 참여 업체 간 합의를 통해 만들어지는 것이지 정부가 일방적으로 결정하는 게 아니다"라며 "이번 평가항목도 이미 합의를 통해 공지한 내용"이라고 강조했다.
AI 트렌드가 시시각각 달라지는 만큼 1 차수 때는 LLM(거대언어모델)의 독자성 확보에 중점을 뒀고, 2차는 AI 에이전트가 부각되는 환경 속 활용성에 초점을 맞추게 됐다는 것이다. 특히 업계에서 AA(아티피셜 애널리시스) 평가가 가장 공신력 있는 벤치마크로 인식돼 이를 평가 항목에 넣었다고도 했다.