크래프톤(245,000원 ▲1,000 +0.41%)이 목소리에 담긴 감정과 억양을 이해하고 자연스러운 음성을 생성하는 인공지능(AI) 파운데이션 모델을 공개했다.
크래프톤은 음성 언어 모델 'A.X K2 Raon-Speech'를 글로벌 AI 플랫폼 허깅페이스에 오픈소스로 공개했다고 29일 밝혔다.
이 모델은 과학기술정보통신부가 추진하는 '독자 AI 파운데이션 모델' 프로젝트의 2차 성과물 중 하나다. 크래프톤은 SK텔레콤 정예팀에 참여해 멀티모달 모델 연구를 맡고 있다.
A.X K2 Raon-Speech는 210억개(21B) 매개변수로 구성됐다. 크래프톤에 따르면 300억개 이하 공개 음성 언어 모델 가운데 한국어 종합 성능 1위, 영어 종합 성능 3위를 기록했다.
평가는 음성 인식과 합성, 음성 이해, 음성·텍스트 질의응답, 도구 호출 등 6개 영역에서 진행됐다. 한국어 24개와 영어 22개 등 총 46개 벤치마크가 활용됐다.
크래프톤은 SK텔레콤의 A.X K2 기반 소형 언어 모델에 자체 학습한 음성 인코더와 코덱을 결합했다. 음성 인코더는 사람의 목소리를 AI가 이해할 수 있는 정보로 바꾸고, 음성 코덱은 AI가 만든 정보를 자연스러운 목소리로 복원한다.
기존 음성 대화 AI는 이용자의 말을 텍스트로 변환한 뒤 답변을 다시 음성으로 합성한다. 이 과정에서 목소리에 담긴 감정과 억양 등이 손실될 수 있다. A.X K2 Raon-Speech는 이러한 음성 정보를 함께 이해해 보다 자연스럽게 답변하도록 설계됐다.
크래프톤은 지난 4월 AI 모델 브랜드 '라온(Raon)'을 출범하고 음성 언어와 실시간 음성 대화, 음성 합성, 비전 인코더 모델 등 4종을 공개했다. 이번 모델에는 당시 개발한 음성 언어 모델의 학습 방식과 자체 음성 인코더·코덱 기술이 적용됐다.
이강욱 크래프톤 최고AI책임자(CAIO)는 "게임에 필요한 AI 파운데이션 기술을 지속해서 고도화해 새로운 게임 경험을 만들어 나가겠다"고 말했다.
독자들의 PICK!
크래프톤은 이번 기술을 이용자와 함께 게임을 플레이하는 AI 캐릭터 'CPC(Co-Playable Character)' 개발에 활용할 계획이다. CPC가 이용자의 목소리와 의도를 이해하고 게임 상황에 맞는 음성으로 반응하게 한다는 구상이다.
