"문장 대신 '장면' 읽어 감정 맞춘다"…차세대 자동 검수 AI 더빙 개발

"문장 대신 '장면' 읽어 감정 맞춘다"…차세대 자동 검수 AI 더빙 개발

송정현 기자
2026.10.30 15:29
구글 선호 매체 등록 구글에서 머니투데이 추가하기

[2026 K-딥테크 스타트업 왕중왕전]
교원창업 부문 결선팀-광주과학기술원(GIST) 오니온에이아이

[이 기사에 나온 스타트업에 대한 보다 다양한 기업정보는 유니콘팩토리 빅데이터 플랫폼 '데이터랩'에서 볼 수 있습니다.]

김홍국 오니온에이아이 대표가 30일 서울 강남구 코엑스에서 열린 '2026 K-딥테크 스타트업 왕중왕전'에서 발표하고 있다. /사진=김창현 기자 chmt@
김홍국 오니온에이아이 대표가 30일 서울 강남구 코엑스에서 열린 '2026 K-딥테크 스타트업 왕중왕전'에서 발표하고 있다. /사진=김창현 기자 chmt@

"기존 AI(인공지능) 더빙은 영상을 완성한 뒤에도 사람이 일일이 오류를 확인하고 수정해야 했습니다. 저희는 AI가 더빙 결과물을 스스로 검수하고 문제가 있는 부분을 다시 생성하도록 했습니다. 이를 통해 사람이 들이는 검수 노력을 기존의 10분의 1 수준으로 줄일 수 있습니다."

김홍국 오니온에이아이 대표는 30일 서울 삼성동 코엑스에서 열린 '2026 K-딥테크 스타트업 왕중왕전' 결선 무대에 올라 자체 개발한 AI 더빙 기술의 차별점을 이같이 설명했다.

광주과학기술원(GIST) 교원창업기업 오니온에이아이는 영상 속 장면과 화자의 감정, 맥락, 효과음 등을 종합적으로 분석해 다국어 더빙을 구현하는 기술을 개발했다. 특히 AI가 생성한 더빙의 품질을 스스로 평가하고 오류가 발견된 구간을 다시 생성하는 자동 검수 기술이 강점이다. 회사의 자체 검증에 따르면 기존 수작업 방식과 비교해 더빙 제작시간을 최대 90%, 비용을 최대 80% 줄일 수 있다.

AI가 장면·감정 분석해 자연스러운 더빙 구현…자동 품질검수로 완성도 높여

오니온에이아이의 주력 제품은 AI 기반 다국어 더빙 솔루션 '오니온에이아이 덥플러스(DUB Plus)'다. 영상을 입력하면 AI가 대사와 화자, 감정, 효과음 등을 분석하고 번역과 음성합성, 발화시간 조정 등을 거쳐 다른 언어의 더빙 음성을 생성한다. 현재 10개 이상의 언어를 지원한다.

핵심은 문장이 아닌 장면(Scene) 단위로 영상을 분석하는 기술이다. 같은 대사라도 긴박한 추격 장면과 차분한 대화 장면에서는 목소리의 높낮이와 말하는 속도, 감정 표현이 달라져야 한다. 오니온에이아이는 이러한 특성을 더빙에 반영하는 '장면 인식(Scene-aware)' 기술을 개발했다. 아울러 원본 영상에 묻힌 사이렌 소리나 발걸음 같은 폴리(Foley) 효과음과 입체 공간음향까지 분리·재구성해 현장감을 유지한다.

특히 품질 관리 공정에는 AI 기반의 이중 필터링 체계를 도입했다. AI가 1차 제작한 더빙 결과물을 또 다른 AI 모델이 감수하는 '자동 품질 검수(Auto QA)' 기술이 적용됐다. 음성의 자연스러움과 어색한 발음, 화면 전환 대비 발화 리듬 등을 정량 평가해 기준 미달 구간만 핀포인트로 재생성한다. 재생성 이후에도 완성도가 부족한 잔여 오차에 대해서만 인간 엔지니어가 개입하는 구조를 구축해 제작 시간과 비용을 획기적으로 낮췄다.

기술 검증과 사업화에도 속도를 내고 있다. 오니온에이아이는 국내 대기업 영상디스플레이(VD)사업부와의 개념검증(PoC)을 통해 콘텐츠 100편 이상을 대상으로 AI 더빙 기술을 검증했다.

다문화 교육 시장도 진출…사업 다각화

김홍국 오니온에이아이 대표가 30일 서울 강남구 코엑스에서 열린 '2026 K-딥테크 스타트업 왕중왕전'에서 발표하고 있다. /사진=김창현 기자 chmt@
김홍국 오니온에이아이 대표가 30일 서울 강남구 코엑스에서 열린 '2026 K-딥테크 스타트업 왕중왕전'에서 발표하고 있다. /사진=김창현 기자 chmt@

오니온에이아이는 음성·언어 AI 역량을 바탕으로 영상 더빙을 넘어 실시간 다국어 자막·통역, 맞춤형 음성 복원 등으로 영역을 넓히고 있다. 대표적인 적용처는 다문화 교육 현장이다. 교사가 한국어로 강의하면 AI가 이를 실시간 인식해 다국적 학생들의 모국어 자막과 합성 음성으로 동시 변환해 전달한다.

김 대표는 "다문화 학급에는 베트남이나 러시아 등 다양한 국가에서 온 학생들이 있는데 일부 학생들은 모국어 문자에도 익숙하지 않을 수 있다"며 "이런 학생들을 위해 자막뿐 아니라 음성합성 기능까지 제공하고 있다"고 설명했다.

글로벌광주방송(GGN)과는 방송 콘텐츠를 다국어로 제작해 유튜브에 송출하는 실증을 진행하고 있다. GGN을 비롯해 광주과학기술원(GIST), 수원교육지원청, 한국관광공사 등 방송·교육·공공 분야에서도 기술 적용 가능성을 검증하고 있다.

요양원에서는 고령층이 가족의 목소리를 들을 수 있도록 개인화된 음성 콘텐츠를 제작하는 시범사업도 진행 중이다. 이러한 현장 적용 경험을 토대로 본격적인 고객 확보에도 나설 계획이다.

김 대표는 "현재 개인 크리에이터를 대상으로 월 약 8만원의 구독료를 받고 있다"며 "내년부터는 팀 단위 구독 상품과 기업·기관을 대상으로 한 기업간거래(B2B) 서비스로 확대할 계획"이라고 밝혔다. 이어 "외부 기업이나 개발자가 자사 기술을 활용할 수 있도록 응용프로그램 인터페이스(API)를 제공하는 방안도 검토하고 있다"고 덧붙였다.

생성형 AI 확산에 따른 지식재산권(IP) 및 음성 복제 침해 우려에 대한 해명도 내놨다. 유명인 음성 도용 리스크를 묻는 질문에 김 대표는 "특정 인물의 음성 데이터를 사전에 수집해 별도 파운데이션 모델을 학습시키는 구조가 아니다"라며 "제공된 영상 내 발화 데이터에서 음향적 특징점만 추출해 실시간 변환하는 방식이어서 저작권 침해 소지를 최소화했다"고 답했다.

한편 올해로 다섯 번째를 맞는 이번 왕중왕전은 머니투데이 스타트업 전문 미디어 플랫폼 '유니콘팩토리'가 주관하고, 과학기술정보통신부 후원으로 전국 6개 과학기술특성화대학이 공동 주최하는 대회다. KENTECH가 올해부터 합류했다. R&D(연구개발) 기술이전·사업화 촉진과 유망 딥테크 스타트업의 성장, 지역 혁신성장 생태계 구축을 지원하기 위해 마련됐다.

대회에는 6개 과학기술특성화대학의 교원·학생창업기업이 각각 6개 팀씩, 총 12개 팀이 결선에 올랐다. 삼성전자 C랩, GS벤처스, L&S벤처캐피탈, 에코프로파트너스, LB인베스트먼트, 블루포인트파트너스, 씨엔티테크, 시리즈벤처스, 한국과학기술지주, 연구개발특구진흥재단 등의 임원이 심사위원으로 참여한다.

교원·학생창업 부문 대상 각 1개 팀에는 부총리상(과학기술정보통신부 장관상)과 상금 300만원이 수여된다. 대상팀은 △후속 투자유치 연계 △팁스 추천 등 추가 지원도 받는다. 우수상과 장려상 각 2개 팀에는 각각 상금 100만원과 50만원이 지급된다.

[머니투데이 스타트업 미디어 플랫폼 유니콘팩토리]

<저작권자 © ‘돈이 보이는 리얼타임 뉴스’ 머니투데이. 무단전재 및 재배포, AI학습 이용 금지>

관련 기사

송정현 기자

안녕하세요. 미래산업부 송정현입니다

공유