국가대표 AI를 선발하는 독자 AI 파운데이션 모델 프로젝트 2차 단계평가에서 업스테이지와 SK텔레콤, LG AI 연구원 3개 팀이 다음 단계에 진출하게 됐다. '패자부활전'을 통해 새롭게 데뷔한 모티프테크놀로지스가 아쉽게 고배를 마시게 됐다.
18일 과학기술정보통신부와 정보통신산업진흥원(NIPA)은 독자 AI 파운데이션 모델 프로젝트(이하 독파모) 2차 단계평가에서 이 같은 결과를 발표했다.
독파모 2차 단계평가는 벤치마크 평가(40점), 전문가 평가(35점), 사용자 평가(25점)으로 구성됐다.
특히 이번에는 벤치마크 평가에서 글로벌 공통·개별 벤치마크(25점)로만 돼 있던 기준을 구체화해 글로벌 AI 평가기관 아티피셜 애널리시스(AAII) 평가로 단일화했다. 이와 더불어 벤치마크에서 1차전과 마찬가지로 NIA 벤치마크(15점)를 포함하되, 분야를 확장해 적용했다.
과기정통부는 "AAII는 전 세계 유수의 글로벌 빅테크들도 고득점을 받기 어려운 어렵고 공신력 높은 벤치마크"라며 "정예팀들의 AI 모델 개발 역량이 글로벌 프론티어 수준에 도달할 수 있도록 견인하기 위해 AAII 벤치마크 평가를 도입했다"고 밝혔다. 여기서는 모티프가 가장 높은 점수를 받은 바 있다.
해당 벤치마크 평가(40점)에서 4개 정예팀 전체 평균은 22.5점이고 1위와 4위간 격차가 4.0점으로 근소했다.
이어 전문가위원회 10명의 평가에서 4개 정예팀 전체 평균은 28.8점을 기록했다. 1위와 4위간 격차는 2.4점이었다. 전문가 평가는 외부 AI 전문가들로 구성된 전문가위원회가 일주일 간 개발 전략 및 기술(10점), 개발 성과 및 배점(10점), 파급 효과 및 기여계획(15점)을 중심으로 심층 평가했다.
사용자 평가(25점)는 AI 전문 사용자진 평가(15점)과 일반 국민평가(10점)으로 구성됐다. AI 사용성 등에 대해 49명의 AI 전문사용자와 일반 국민 185명의 평가를 합산했다. 각 평가단에 프롬프트 가이드라인을 제공해 깊이있는 AI 사용성 평가를 지원했다. 그 결과 4개 정예팀 평균은 17.6점이고, 1위와 4위간 격차는 5.0점으로 집계됐다.
여기에 전문가 평가와 사용자 평가를 종합한결과 근소한 차이로 기존 1차 단계평가에서 선발됐던 업스테이지와 SK텔레콤, LG AI 연구원이 다음 단계로 진출하게 됐다.
