KT(44,700원 ▼1,000 -2.19%)가 챗GPT 등 글로벌 AI(인공지능) 모델 500개 이상을 한곳에서 이용하고 비용까지 관리할 수 있는 플랫폼을 선보인다. 업무에 적합한 AI 모델을 자동으로 선택하고 입력 데이터를 압축해 토큰 사용량을 최대 25% 줄이는 것이 핵심이다.
KT는 27일 서울 종로구 광화문 웨스트 빌딩에서 AI 플랫폼 'KT 토큰팩토리'를 공개하고 30일 출시한다고 밝혔다. 초기에는 기업 고객을 대상으로 서비스를 제공하고 향후 이용 대상을 확대할 계획이다.
토큰팩토리는 여러 AI 모델을 하나의 플랫폼에서 이용할 수 있도록 지원하는 서비스다. 기업이 AI 모델마다 별도 계정을 만들거나 계약할 필요 없이 모델 선택부터 사용량 확인, 비용 관리, 결제까지 통합 처리할 수 있다.
최근 AI 모델이 다양해지면서 기업들은 업무별로 서로 다른 모델을 활용한다. 코딩과 번역, 문서 요약, 복잡한 추론 등 업무에 따라 적합한 모델이 다르기 때문이다. 그러나 여러 모델을 개별적으로 구독하면 이용 현황과 비용을 관리하기 어려워진다.
KT는 자체 개발한 '오토 모델 라우터'로 이 문제를 해결한다. 사용자의 질문 유형과 난이도, 요구 품질, 비용 등을 분석해 적합한 AI 모델을 자동으로 선택하는 기술이다. 단순한 업무에는 저비용 모델을, 복잡한 분석에는 고성능 모델을 배정하는 방식이다.
이 기술은 AI 모델 선택 성능을 평가하는 글로벌 벤치마크 '라우터아레나'에서 종합 1위를 기록했다. KT는 한국어 특성을 고려한 프롬프트 압축 기술도 적용했다. 질문의 의미를 유지하면서 불필요한 표현을 제거해 입력 토큰 수를 줄인다. 두 기술을 통해 토큰 사용량을 최대 25% 절감할 수 있다는 것이 회사 측 설명이다.
데이터 보안도 강화했다. KT는 국내 데이터센터에서 자체 AI 모델과 오픈웨이트(모델 가중치 공개) AI 모델의 추론 서비스를 제공한다. 기업 데이터가 해외 서버로 전송되는 데 따른 우려를 줄이기 위해서다. 개인정보와 민감정보, 유해 표현을 탐지하는 자체 가드레일 기술도 적용했다.
KT는 글로벌 AI 모델 유통 플랫폼 '오픈라우터'와 국내 최초로 공식 파트너십을 체결했다. 이를 통해 500개 이상의 글로벌 AI 모델을 확보했으며 향후 KT가 국내에서 제공하는 AI 모델의 해외 유통도 추진한다. KT는 토큰팩토리를 기업용 AI 플랫폼에서 글로벌 AI 모델 유통 사업으로 확대할 계획이다. 유라클, CAST AI, 타임리 등 국내외 기업과 협력하고 '모두의 AI' 컨소시엄 참여사들과도 생태계를 구축한다.
독자들의 PICK
지금 2,789명 읽는 중
박상원 KT AX사업부문장(전무)은 "AI 시장은 누가 더 좋은 모델을 만드느냐보다 누가 AI를 더 쉽고 효율적으로 활용하도록 지원하느냐의 경쟁으로 빠르게 전환하고 있다"며 "토큰팩토리를 대한민국 AI 생태계 성장을 이끄는 핵심 플랫폼으로 발전시키겠다"고 말했다.
