카카오(45,800원 ▼1,300 -2.76%)가 자사 '오케스트레이션 벤치마크(Orchestration Benchmark)' 관련 논문이 세계 3대 AI 학회인 'ICLR(국제표현학습학회) 2026'에서 채택됐다고 3일 밝혔다.
ICLR은 글로벌 빅테크 기업들이 주목하는 인공지능 분야의 최고 학술대회다. 올해는 1만9000여 건의 논문 중 상위 28%만 통과했다.
카카오는 최근 AI 흐름이 단순 문답형 LLM(거대언어모델)에서 스스로 계획하고 도구를 사용해 임무를 완수하는 '에이전틱(Agentic) AI'로 진화함에 따라 이번 벤치마크를 개발했다.
기존의 LLM 벤치마크는 단편적인 성능 평가에 그쳐 복잡한 명령을 해석해 수행 능력을 검증하는 데 한계가 있었다. 이에 카카오는 실제 서비스 시나리오를 기반으로 AI 모델의 작업 계획과 도구 실행을 분리해 정밀하게 평가하는 새로운 프레임워크를 개발했다. 특히 실제 서비스 환경에서 요구되는 '멀티 스텝' 및 '멀티 도메인' 처리 능력 검증에 초점을 맞췄다.
평가 모델은 여행·쇼핑·금융 등 17개 도메인과 100여 개의 가상 도구를 활용해 구성했다. 사용자의 요청 변경이나 추가 질문 등 실제 대화 흐름을 시나리오에 반영해 실용성을 높였다. 영어뿐만 아니라 한국어의 문화적 맥락까지 반영해 국내외 기술 생태계 모두에 적용 가능하다.
카카오는 AI 생태계 활성화를 위해 해당 논문과 데이터를 오픈소스 플랫폼 '깃허브'에 공개했다.
카카오 관계자는 "오케스트레이션 벤치마크는 에이전틱 AI가 실제 서비스 환경에서 안정적으로 작동하는지를 평가하는 핵심 도구"라며 "스스로 판단하고 이행하는 에이전틱 AI로 진화하는 현 시점에서 의미있는 연구 성과"라고 평가했다.
