정부가 국가대표 AI(인공지능)를 선발하는 '독자 AI 파운데이션 모델(독파모)' 2차 평가 세부점수를 공개했다. 지난 18일 2차 평가에서 탈락한 모티프테크놀로지스(모티프)의 이의신청 및 점수 공개 요구로 평가기준 논란이 불거지자 전체 공개로 정면돌파를 택했다.
과학기술정보통신부는 27일 저녁 보도참고자료를 내고 독파모 2차 평가 결과를 공개했다. 과기정통부 측은 "평가 결과 공개에 따른 일부기업의 직·간접적 피해를 최소화하는 한편 평가 과정·결과에 대한 공정성과 투명성을 고려해 결과 공개범위에 신중을 기했다"며 "다만 모티프 측이 27일 세부 평가 결과 공개를 요청했고 다른 정예팀도 동의함에 따라 세부점수를 공개한다"고 밝혔다.
공개된 점수에 따르면 △SK텔레콤 70.6점 △업스테이지 69.9점 △LG AI 연구원 69점 △모티프 65.8점 순으로 종합평가를 받았다.
벤치마크 평가에선 알려진 대로 모티프가 24.6점으로 4개팀 중 최고점을 받았다. 2차 평가 결과 발표에 앞서 공개된 글로벌 평가기관 '아티피셜 애널리시스'의 인텔리전스 인덱스(AAII) 부문에선 11.9점으로 1위를 차지했지만 NIA(한국지능정보사회진흥원) 벤치마크에선 12.7점으로 최하위에 머물렀다.
모티프는 전문가와 사용자 평가에선 각각 27.1점, 14.1점에 그쳤다. 4개 경쟁사 가운데 최하점이다. 사용자 평가에선 모티프는 AI전문사용자진 8.4점, 일반국민 5.7점을 받았다.
반면 3차 경쟁에 진출한 3개 팀은 전문가와 사용자 평가에서 모티프를 최대 5점 차로 따돌린 것으로 나타났다. 2차 평가 1위를 차지한 SK텔레콤이 전문가 평가 29.3점 사용자 평가 19.1점으로 모티프를 각각 2.2점, 5점차로 앞질렀다. LG AI연구원은 전문가 평가에서 29.5점으로 최고점을 받았다. 업스테이지는 두 부문에서 각각 29.1점 18.1점을 획득했다.
과기정통부는 각 부문에 대한 평가 기준도 설명했다. 이번 2차 평가는 △벤치마크 △전문가 △사용자 평가 등 3개 부문으로 진행했고 벤치마크에선 글로벌 지표인 AAII와 7개 분야 벤치마크 데이터 셋을 기반으로한 NIA 지표를 사용했다.
전문가 평가는 △산업계 3명 △학계 5명 △연구계 2명으로 구성한 평가위원회를 통해 5일 간의 서면 평가와 질의응답으로 도출했다. 사용자 평가는 전문가와 일반 국민으로 나눠 AI스타트업 대표 49명이 전문가 평가를, 무작위 선정한 국민 185명이 일반국민 평가에 참여했다.
과기정통부 측은 "결과 공개 이후에도 우리 기업이 단순한 점수나 순위로 평가받기 보다 보유한 저력과 역량을 바탕으로 국내·외 AI생태계에 폭넓게 기여하기 바란다"며 "우리 AI생태계가 경쟁력 있는 기업들이 끊임없이 도전하는 생태계로 발전하기 바란다"고 밝혔다.
한편 모티프 측은 이날 오전 입장문을 내고 독파모 2차 평가에서 탈락 원인으로 꼽힌 사용성·활용성 평가에 대해 구체적인 평가 점수를 알려달라며 이의신청을 했다. 이에 사용자 평가, 전문가 평가의 구체적인 평가 기준, 단계별 달라지는 평가 기준에 대한 질문이 이어졌다.
당초 모티프는 이같은 평가 결과를 존중하고 받아들인다는 입장을 냈지만 이후 자사 모델인 모티프 3의 성능과 관련한 부정적 평가가 언론 보도를 통해 확산하자 이의제기에 이른 것으로 보인다.
모티프는 "평가 결과 자체는 존중하고 받아들였지만 이후 여러 차례 언론을 통해 '모티프 3'가 AAII 벤치마크 점수만 높았을 뿐 전문가 평가와 사용자 평가에서 문제가 있었다고 설명한 것으로 보도됐다"며 "과기정통부 고위 관계자 발언에서는 모티프 3가 벤치마크 점수에 비해 실제 추론 성능이 미흡하고 사용성과 활용성이 떨어진다는 평가까지 언급됐다"고 이의신청 배경을 설명했다.