KT(52,700원 ▼400 -0.75%)가 자체 개발한 AI 모델 라우팅 기술 '오토모델라우터'(AutoModelRouter)가 LLM(거대언어모델) 라우터 분야 글로벌 벤치마크에서 종합 2위를 기록했다.
KT는 '라우터아레나' 공개 리더보드에서 KT-오토모델라우터가 'Acc-Cost Arena'(정확도-비용 평가) 기준 2위에 올랐다고 27일 밝혔다. 라우터아레나는 미국 라이스대 연구진이 개발한 LLM 라우터 평가 플랫폼으로 약 8400여개 질의를 활용해 AI 라우터의 응답 정확도와 비용 효율성, 입력 변화에 대한 견고성 등의 성능을 종합 평가한다.
오토모델라우터는 여러 AI 모델 중에서 이용자의 요청에 가장 적합한 모델을 자동으로 선택해주는 기술이다. 요청의 업무 유형, 난이도, 지식 분야를 분석하고 이에 따른 모델별 응답 품질과 이용 비용을 고려해 모델을 연결한다.
단순히 성능 높은 모델이나 가장 저렴한 모델을 선택하는 대신, 기업이 요구하는 목표 품질을 충족하면서 비용 효율을 높이는 모델을 선택하도록 설계했다는 설명이다. 간단한 번역이나 정보 확인에는 비용 효율적 모델을, 높은 수준의 추론이 필요한 업무에는 고성능 모델을 연결하는 식이다.
오토모델라우터는 KT가 추진 중인 '토큰 팩토리' 모델 라우팅 기능에도 활용된다. 토큰 팩토리가 다양한 AI 모델과 토큰 이용 환경을 통합 운영하는 과정에서 오토모델라우터가 이용자 요청에 맞는 모델을 자동 선택한다.
김준석 KT 에이전틱AI랩장(상무)은 "KT는 경쟁력 있는 AI 플랫폼 기술을 바탕으로 기업 고객의 AI 전환을 선도하겠다"고 밝혔다.
