'독자 AI 파운데이션 모델 사업(독파모)' 2차 평가에서 탈락한 모티프테크놀로지스가 심사 결과에 대해 이의를 제기했다. 글로벌 벤치마크 평가에서 최고점을 달성했음에도 종합 평가 결과 최저점을 받았다는 것에 정부의 구체적인 설명이 필요하다는 입장이다.
모티프테크놀로지스는 27일 입장문을 내고 독파모 2차 단계 선정 결과에 대해 이의 신청했다고 밝혔다. 독파모는 한국어와 국내 산업 수요에 특화된 범용 AI 모델을 구축하는 국가 프로젝트로 총 3차 평가를 거쳐 최종 2개 모델을 뽑는다.
모티프는 1차 평가 이후 진행한 추가 공모를 통해 2차 평가부터 참여했지만, 지난 18일 참여 4개팀(△업스테이지 △SK텔레콤 △LG AI연구원 △모티프테크놀로지스) 중 최하위로 평가받아 탈락했다.
당초 모티프는 이같은 평가 결과를 존중하고 받아들인다는 입장을 냈다. 다만 이후 자사 모델인 모티프 3의 성능과 관련한 부정적 평가가 언론 보도를 통해 확산하자 이의제기에 이른 것으로 보인다.
모티프는 "평가 결과 자체는 존중하고 받아들였지만 이후 여러 차례 언론을 통해 '모티프 3'가 AAII 벤치마크 점수만 높았을 뿐 전문가 평가와 사용자 평가에서 문제가 있었다고 설명한 것으로 보도됐다"며 "과기정통부 고위 관계자 발언에서는 모티프 3가 벤치마크 점수에 비해 실제 추론 성능이 미흡하고 사용성과 활용성이 떨어진다는 평가까지 언급됐다"고 했다.
그러면서 "이는 단순히 어떤 업체가 선정되고 어떤 업체가 탈락했느냐의 차원을 넘어, 독파모 사업의 본질과 향후 나아가야 할 방향에 대한 근본적인 의문을 제기한다고 생각한다"고 했다. 또 "저희가 추구해 온 기술적 방향성과 그 결과물에 대해 일부 오해가 있을 수 있다는 생각도 하게 됐다"며 "평가점수의 상세한 공개와 재심의를 정중히 요청한다"고 밝혔다.
이어 "파운데이션 모델의 가치는 챗봇의 사용성이 아니라 여러 도메인으로 확장 가능한 기반 성능에서 나온다"며 "모델의 본질적인 성능이 높을 때 확장 가능성도 빠르게 만들어진다"고 했다. 모티프 3의 탈락 원인 중 하나로 언급된 '사용성'과 '활용성'에 대한 반박이다.
또 "본질적 성능을 중시하는 모티프의 관점과 일부 전문가들이 중요하게 판단하는 요소가 다를 수 있다는 점도 인지하지만 어느 방향이 더 적절한지는 앞으로의 기술 발전과 시장 검증을 통해 판단될 것"이라고 했다.
아울러 모티프 3이 글로벌 종합 성능지표인 AAII에서 독파모 4개사 중 최고점인 47점(△업스테이지 37점 △SKT 35점 △LG AI연구원 31점)을 받은 점을 언급하며 "AAII 모델 간 47점과 31점이라는 상당한 차이에도 불구하고 (이같은) 상반된 결과가 발생한 이유와 배경에 대해 기업과 업계가 이해할 수 있도록 보다 구체적으로 설명해야 한다"고 강조했다. AAII는 단순한 하나의 벤치마크가 아닌 글로벌 AI 업계에서 폭넓게 활용되는 9개의 대표적 벤치마크를 취합한 종합 평가이므로 모델 간 성능 차이를 판단하는 데 있어 중요한 참고 기준으로 충분히 고려돼야 한다는 주장이다.
모티프는 "독파모 사업에서 합리적인 방향 설정은 국가적으로도 매우 중요하다"며 "이번 심사 과정과 결과가 충분히 공개되고 검증될 수 있어야 하며, 이를 바탕으로 3차에서는 참여 기업이 보다 명확한 방향 아래 역량을 집중할 수 있기를 바란다"고 덧붙였다.