국가대표 AI(인공지능)를 가리는 '독자 AI 파운데이션 모델'(독파모) 2차 평가를 앞두고 예상 밖의 성적표가 나왔다. 모티프테크놀로지스의 '모티프3'가 에이전트 업무 능력 등을 포함한 글로벌 AI 종합 성능 지표에서 LG AI연구원과 SK텔레콤(94,000원 ▲6,200 +7.06%), 업스테이지 모델을 모두 앞섰다.
13일 글로벌 AI 평가기관 아티피셜 애널리시스의 'AI 모델 종합 성능 지표(AAII)'에 따르면 모티프3는 47점을 기록했다. 독파모 2차 평가에 참여하는 4개 팀 모델 가운데 가장 높은 점수다.
업스테이지의 '솔라 오픈2'가 37점으로 뒤를 이었고 SK텔레콤의 'A.X K2'는 35점, LG AI연구원의 'K-엑사원'은 31점을 기록했다. 모티프3가 2위보다 10점, 4위보다는 16점 앞선 것이다.
모티프3는 AAII 전체 모델과 비교해도 높은 성적을 냈다. 아티피셜 애널리시스에 따르면 모티프3의 47점은 비교 가능한 모델의 중간값인 16점을 크게 웃돈다. 최신 AAII는 단순 지식뿐 아니라 코딩과 과학 문제 해결, 에이전트 기반 업무 수행 등 여러 능력을 종합적으로 측정한다.
다만 이번 결과가 독파모 2차 평가의 최종 순위로 그대로 이어지는 것은 아니다. 독파모 2차 평가에서 벤치마크 평가는 총 100점 가운데 40점이며, 이 중 AAII가 25점, 한국지능정보사회진흥원(NIA) 벤치마크가 15점을 차지한다. 나머지는 전문가 평가 35점과 사용자 평가 25점으로 구성된다. AAII에서 벌어진 점수 차이가 최종 평가 과정에서 뒤집힐 여지가 있는 셈이다.
AAII 자체의 한계도 있다. AAII는 지식·추론·코딩 등 여러 벤치마크를 묶어 모델의 전반적인 성능을 하나의 점수로 나타내는 지표다. 모델 간 성능을 한눈에 비교하기에는 유용하지만 어떤 벤치마크를 포함하느냐에 따라 결과가 달라질 수 있다. 지표가 개편되면서 평가 항목이 교체되면 기존 모델의 점수가 크게 움직이기도 한다. 특히 AAII에는 한국어 성능을 별도로 평가하는 벤치마크가 없다. 한국어 이해·추론 능력까지 포함한 국내 AI 모델의 경쟁력을 AAII 점수만으로 판단하기 어려운 이유다.
AI 업계에서는 특정 벤치마크에 모델을 최적화해 실제 활용 성능보다 평가 점수를 끌어올리는 이른바 '벤치맥싱' 문제도 꾸준히 제기돼 왔다. 정부가 독파모 평가에서 단일 벤치마크에 의존하지 않고 NIA 벤치마크와 전문가·사용자 평가를 함께 반영하는 것도 이런 한계를 보완하기 위한 것이다.
정부는 12일 마감한 국민 평가를 마지막으로 독파모 2차 평가 절차를 마무리하고 결과를 조만간 발표할 예정이다. 4개 참여팀 가운데 3개 팀만 다음 단계에 진출한다. 글로벌 종합 성능 지표에서 먼저 치고 나간 모티프3가 전문가·사용자 평가까지 우위를 이어갈지, 다른 3개 모델이 남은 평가에서 격차를 뒤집을지가 최종 관전 포인트다.
