[이 기사에 나온 스타트업에 대한 보다 다양한 기업정보는 유니콘팩토리 빅데이터 플랫폼 ‘데이터랩’에서 볼 수 있습니다.]
멀티모달 영상 이해 AI 기업 트웰브랩스가 자체 파운데이션 모델 기반의 영상 이해 AI 에이전트 '자키 바이 트웰브랩스(Jockey by TwelveLabs, 이하 자키)'를 16일 정식 출시했다고 밝혔다.
자키는 사용자가 자연어로 요청하면 영상 라이브러리 전체에서 관련 장면을 찾아 선정 근거와 함께 제시하고, 클립 선별이나 가편집본 제작 등 후속 작업까지 수행하는 영상 특화 AI 에이전트다.
영상은 텍스트와 달리 내용 자체로 검색되지 않는다. 원하는 장면을 찾으려면 직접 돌려보거나 제목·태그·자막 같은 부가 정보에 의존해야 한다. 클립 선별과 편집도 수작업으로 이뤄지는 탓에 보유 영상이 늘어날수록 검색·분석·정리에 드는 시간과 비용도 함께 늘어난다는 게 업계의 지적이다.
가장 큰 특징은 개발 지식이 없는 일반 사용자도 쓸 수 있다는 점이다. 오픈AI의 챗GPT나 앤트로픽의 클로드 앱에서 자키를 불러와 대화하듯 영상 작업을 할 수 있다. 두 앱을 오가도 검색 맥락이 유지돼, 오전에 챗GPT에서 시작한 검색을 오후에 클로드에서 이어갈 수 있다. 개발자는 API(응용프로그램인터페이스)를 통해 자체 서비스나 업무 시스템에 자키를 연동할 수 있다.
이번 정식 출시는 대규모 영상 아카이브를 운영하는 콘텐츠 제작사들과 진행한 리서치 프리뷰(베타 서비스)를 거쳐 이뤄졌다. 트웰브랩스는 이 과정에서 수집한 피드백을 반영해 소셜 영상 분석 기능을 추가했다.
유튜브·틱톡·인스타그램 릴스 영상 링크를 입력하면 자키가 해당 영상을 불러와 현재 반응을 얻고 있는 트렌드를 도출한다. 영상별 스크립트, 기술 메타데이터, 크리에이터 정보, 조회수·좋아요 등 참여 지표도 함께 불러와 내용뿐 아니라 실제 성과를 기준으로 검색 결과의 순위를 매길 수 있다.
자키가 만든 결과물은 저장·공유할 수 있다. 원본 영상을 편집한 MP4 파일, 소셜 콘텐츠 분석 자료, 영상 기반 인터랙티브 웹사이트 등이 대상이다. 모든 결과물에는 근거가 된 영상 출처가 함께 제공되며, 공유 철회도 가능하다.
리서치 프리뷰에 참여한 숏폼 크리에이터 마케팅 플랫폼 강석환 삼양파파우(Popow) 대표는 "200개 이상의 캠페인을 운영하며 가장 오래 걸린 일은 크리에이터 섭외가 아니라 어떤 트렌드와 영상을 참고할지 고르는 일이었다"며 "자키는 일상적인 언어로 요청만 해도 제품의 강점을 잘 보여주는 레퍼런스를 선정 근거와 함께 추천한다"고 말했다.
독자들의 PICK
지금 2,912명 읽는 중
회사 측은 자키 출시로 영상 이해 파운데이션 모델부터 실제 업무를 수행하는 에이전트까지 아우르는 '풀스택 AI' 체계를 갖추게 됐다고 설명했다. 자키에는 트웰브랩스의 영상 검색·임베딩, 자동 메타데이터 생성, 영상 요약 및 하이라이트 추출 기술이 적용됐다.
트웰브랩스는 앞서 1인칭 시점 영상(에고센트릭 데이터) 이해 능력을 강화한 영상 이해 모델 '페가수스 1.6'도 공개했다. 사람의 시선으로 작업 과정을 담은 1인칭 영상은 피지컬 AI의 로봇 학습 데이터로 주목받고 있으며, 페가수스 1.6을 활용하면 원본 영상을 로봇 학습 데이터로 빠르게 가공할 수 있다는 게 회사 측 설명이다.
트웰브랩스는 엔비디아, 아마존, 네이버벤처스, SK텔레콤(78,400원 ▼400 -0.51%), NEA, 한국투자파트너스 등으로부터 누적 3000억원 이상의 투자를 유치했다. 국내 AI 모델로는 처음으로 아마존웹서비스(AWS)의 AI 모델 플랫폼 '아마존 베드록'에 모델을 공급했다.
이재성 트웰브랩스 대표는 "자키는 트웰브랩스의 핵심 AI 모델들을 유기적으로 연결해 영상 이해 기술을 한 단계 끌어올린 차세대 AI 에이전트"라며 "누구나 방대한 영상 데이터를 활용해 실질적인 가치를 끌어낼 수 있을 것"이라고 말했다.
[머니투데이 스타트업 미디어 플랫폼 유니콘팩토리]
