[이 기사에 나온 스타트업에 대한 보다 다양한 기업정보는 유니콘팩토리 빅데이터 플랫폼 '데이터랩'에서 볼 수 있습니다.]
휴먼 AI(인공지능) 인터페이스 기업 클레온이 감정 표현을 조절할 수 있는 AI 영상 생성 연구를 컴퓨터비전 학회 'BMVC 2026'에 게재했다고 19일 밝혔다. 올해 ICLR, CVPR에 이어 세 번째 국제학회 성과다.
2018년 설립된 클레온은 LLM(거대언어모델)과 ASR(음성인식), TTS(음성합성), RAG(검색증강생성)에 실시간 영상 생성·스트리밍을 결합해 AI가 말하고 표정 짓고 몸짓으로 반응하는 인터페이스를 구현해 왔다.
BMVC에 게재한 논문의 제목은 '명시적 감정 제어를 통한 실시간 범용 립싱크(Emo-LiveSync: Real-Time Universal Lip Synchronization with Explicit Emotion Control)'다.
논문은 음성과 영상의 정렬을 얼굴 전체 움직임을 담는 '암묵적 모션 공간'에서 수행해 입모양과 감정 표현을 하나의 생성 구조로 다뤘다. 영상 품질과 인물 생김새 보존, 음성-입모양 동기화 성능에서 기존 모델을 웃도는 결과를 기록했다는 설명이다.
기존 AI 영상 기술은 음성에 맞춰 입을 움직이는 데 머물렀다. 클레온은 기쁨·슬픔·화남 등 감정에 따라 얼굴 표정이 달라지고 감정의 강도와 변화까지 조절되도록 했다. 이 기술은 실제 사람뿐 아니라 애니메이션·3D 캐릭터에도 적용할 수 있어 활용 범위가 넓다.
클레온은 이 기술을 기업 교육과 디지털 사이니지·리테일·공공공간, 브랜드 행사·전시 등 사람과 AI가 만나는 접점에 적용하고 있다. 전시·행사 현장에서 다국어 AI 프로모터를 운영하는 '이벤트 프로모터 OS(Event Promoter OS)'는 현재 출시를 준비 중이다.
강지수 클레온 CTO(최고기술책임자)는 "AI가 사람 앞에서 응대하고 설명하는 역할을 하려면 질문을 이해하고 답변을 생성하는 것만으로는 충분하지 않다"며 "자연스럽게 입을 움직이고 상황에 맞는 표정과 감정을 표현하며 몸짓으로 반응할 수 있어야 한다"고 했다.
이어 "개별 기술의 성능을 높이는 동시에 이를 하나의 실시간 시스템으로 연결해 AI가 사람과 더 자연스럽게 상호작용할 수 있는 인터페이스를 만들어 나가겠다"고 덧붙였다.
[머니투데이 스타트업 미디어 플랫폼 '유니콘팩토리']
