국가대표 AI(인공지능) 모델을 선정하는 '독자 AI 파운데이션 모델'(이하 독파모) 프로젝트 2차 단계평가가 1차 평가의 연장전이 됐다. 국가대표 정예팀 5개사 중 1차전서 네이버와 NC AI 컨소시엄이 탈락해 2차에 진출한 업스테이지와 SK텔레콤, LG AI연구원 3개팀이 그대로 3차전에 임하게 되면서다.
과학기술정보통신부와 정보통신산업진흥원(NIPA)은 18일 정부서울청사에서 독파모 프로젝트 2차 단계평가 브리핑을 진행하고 업스테이지와 SK텔레콤, LG AI연구원 3개팀이 선발됐다고 밝혔다. 1차전 이후 '패자부활전'을 통해 정예팀에 합류한 모티프테크놀로지스(이하 모티프)가 1회차 만에 탈락했다.
독파모 2차 단계평가는 1단계와 동일하게 △벤치마크 평가(40점) △전문가 평가(35점) △사용자 평가(25점)로 구성됐다. 1차 때 LG AI연구원이 전부문 1위를 차지한 것과 달리 이번에는 기업별 격차가 근소했다. 이 가운데 당락을 좌우한 건 사용자 평가였다. 이는 AI 전문 사용자진(49명)과 일반 국민이 AI 모델을 사용하며 체감하는 사용성과 효능감을 종합평가했다. 1차전에 없던 국민평가단(200명 선발해 185명 응답)을 추가했다.
◇당락 결정한 것은 AI 사용성…1등과 4등 격차는 '5점'=항목별로 보면 △사용자 평가에서 4개팀 평균은 17.6점이었고 1위와 4위 격차가 5.0점으로 가장 컸다. △벤치마크 평가는 4개팀 평균이 22.5점이고 1위와 4위 격차가 4.0점이었다. △전문가 평가는 4개사 평균 28.8점, 1위와 4위 격차가 2.4점이었다.
2차 단계평가를 종합한 결과 업스테이지는 포털 '다음' 및 '타임리'(Timely) 플랫폼과 연계하고 국산 퓨리오사AI NPU(신경망처리장치)를 사용, 소버린 AI 풀스택을 구현해 높은 점수를 받았다.
SK텔레콤은 수리추론과 한국어 영역에서 뛰어난 성능을 보였고 국방분야에 AI모델을 적용하는 등 제조산업 특화모델 가능성을 입증했다. LG AI연구원은 글로벌 국제기구와 협업을 진행 중이고 에이전틱 AI에 대한 차별성이 있다는 점, 신뢰할 수 있는 AI에 대한 고민이 드러났다는 점에서 상대적으로 높은 평가를 받았다.
모티프는 주요 벤치마크인 '아티피셜 애널리시스 인텔리전스 인덱스'(AAII)에서 4개사 중 가장 높은 점수인 47점을 받았다. 또 아키텍처부터 토크나이저 등을 자체개발해 기술 독자성에서 높은 평가를 받았지만 사용성 측면에서 아쉬운 성적표를 받아들었다.
2차전 결과에 대해 류제명 과기정통부 2차관은 "특정 기업이 모든 부문에서 1위를 차지한 사례는 없었고 근소한 차로 3개사가 선정됐다"고 밝혔다.
◇글로벌 프런티어 모델과 벌어지는 격차=과기정통부는 현재의 독파모 프로젝트 방식을 재편할 가능성도 내비쳤다. 글로벌 프런티어 모델 성능이 빠르게 진보하는 상황에서 예산이 한정된 만큼 GPU(그래픽처리장치) 등을 여러 곳에 배분하기보다 한곳에 집중 지원해 큰 모델 하나를 키우는 방향이다.
실제 지난 13일 AAII에서 1위를 차지한 모티프조차 47점으로 △클로드 오퍼스(63점) △페이블5(62점) △GPT 5.6(61점) 등 선두권과 격차를 보였다. 글로벌 프런티어 모델의 95% 수준 성능 달성이라는 독파모 취지대로라면 57점 이상의 점수가 나와야 했다는 게 정부의 설명이다.
류 차관은 "지금의 방식을 탈피해 프런티어 모델에 버금가는 모델로 (지원방식을) 재편하자는 방식에 대한 공감대가 있다"고 말했다. 다만 과기정통부는 3개사에서 2개사로 압축하는 3차 단계평가는 예정대로 진행할 방침이다.