정부가 국내 AI 생태계 육성을 위해 대규모 학습 데이터를 개방한다. 독자 AI 파운데이션 모델(독파모) 사업에 참여한 5개 정예팀이 확보한 총 29종 규모의 데이터다.
과학기술정보통신부와 한국지능정보사회진흥원(NIA)은 독파모 5개 정예팀이 1차 단계평가 과정에서 확보한 29종(약 3544만건, 1조5600억 토큰 규모)의 데이터를 AI허브를 통해 공개했다고 27일 밝혔다. 국민이라면 누구나 무료로 다운로드할 수 있다.
5개 정예팀이 AI 모델 개발 전략에 맞춰 직접 기획하고 구축한 데이터로, 사전학습에 필요한 대규모 텍스트 데이터부터 영상·음성 등 멀티모달 데이터, AI 안전성을 높이기 위한 레드티밍 데이터까지 포함됐다. 토큰 기준으로 약 1조5600억개에 달해 이론적으로 700억~800억개 파라미터 규모의 대형 AI 모델 학습에도 활용할 수 있다.
네이버클라우드는 공개 영상 234만건과 방송 영상 52만건, 영상 클립을 기반으로 한 텍스트 1550만건, 음성 질의응답 1200만건 등을 구축했다. AI가 영상 속 장면과 맥락을 이해하는 능력을 높이는 데 활용할 수 있다.
업스테이지는 1조 토큰 규모의 대규모 사전학습 데이터와 50만건의 사후학습 데이터를 마련했다. 특히 사후학습 데이터에는 단순한 질문과 답변을 넘어 추론과 판단, 실행 등 AI 에이전트에 필요한 역량을 학습할 수 있는 데이터가 포함됐다.
SK텔레콤(99,100원 ▼500 -0.5%)은 수학·과학·법률 등 전문 분야의 고난도 추론 데이터와 음성·이미지 데이터, 한국의 법령과 사회적 가치관을 반영한 레드티밍 데이터 약 1만건을 구축했다.
NC AI는 제조 분야 기술문서와 민원 상담 음성 등 실제 산업 현장의 데이터를 활용해 긴 문맥 이해와 단계별 추론, 멀티턴 대화, 멀티모달 역량을 학습할 수 있는 데이터 7종을 만들었다.
LG AI연구원은 한국의 가정환경을 반영한 피지컬AI 데이터에 집중했다. 국내 50개 가정에서 50종 이상의 가사 활동을 촬영해 17만개 이상의 영상 클립을 구축하고 객체·자세·맥락 등을 다층적으로 라벨링했다.
독자들의 PICK!
정부가 대규모 데이터 공개에 나선 것은 차별화된 데이터의 중요성이 커져서다. 정부는 2차 단계평가 과정에서 구축되는 데이터도 추가 개방할 계획이다. 독파모 참여기업들은 사업공고상 참여조건에 따라 사업을 통해 확보한 데이터 50% 이상 개방해야 한다.
정부 NIA와 한국정보통신기술협회(TTA)를 통해 데이터 품질검증과 개인정보·유해성 검증을 진행했다. 라이선스에 제약이 있는 데이터도 제외했다.
김경만 과기정통부 인공지능정책실장은 "독파모 프로젝트는 개발 과정에서 축적된 경험과 노하우를 AI 생태계 전반으로 확산한다는 점에서 의미가 있다"며 "공개 데이터가 AI 생태계의 성장과 자생력 강화를 이끄는 밑거름이 될 것"이라고 말했다.
