[이 기사에 나온 스타트업에 대한 보다 다양한 기업정보는 유니콘팩토리 빅데이터 플랫폼 ‘데이터랩’에서 볼 수 있습니다.]
인공지능(AI) 인프라 스타트업 베슬AI가 업스테이지의 거대언어모델(LLM) '솔라 프로4'에 글로벌 인퍼런스(추론) 인프라를 공급해 서비스 운영을 지원했다고 12일 밝혔다.
솔라 프로4는 글로벌 LLM 마켓플레이스 오픈라우터에서 지난 9월 사용량 3위에 올랐다. 베슬AI는 해당 기간 솔라 프로4의 일일 토큰 처리량이 80억개에서 1550억개로 급증하는 동안 전 세계 이용자의 추론 요청을 안정적으로 처리하며 글로벌 서빙을 뒷받침했다.
베슬AI는 수요 예측에 맞춰 한국, 미국, 유럽 등 글로벌 리전의 그래픽처리장치(GPU) 클러스터를 구성하고 자체 추론 엔진 최적화 기술을 적용했다. 내부 캐시 히트율 개선과 모델 양자화 등을 통해 도입 전후 대비 처리 속도를 최대 3배 높이고, 토큰당 운영 비용은 최대 50% 절감했다.
베슬AI는 해당 협업을 계기로 GPU 인프라 공급을 넘어 AI 모델의 추론 운영 전문 기업으로 사업 영역을 확대한다는 방침이다. 최근에는 SK바이오팜에 연구개발용 GPU 인프라를 공급하고 네오AI와 포항 AI데이터센터 GPU 플랫폼 구축 협약을 맺는 등 기업 고객 기반을 넓히고 있다.
안재만 베슬AI 대표는 "한국에서 개발한 AI 모델의 글로벌 성과를 국내 네오클라우드 인프라로 뒷받침했다는 데 의미가 크다"며 "축적한 인퍼런스 운영 경험을 바탕으로 모델 제공사가 연구에 집중하고 기업이 안정적으로 오픈소스 모델을 도입할 수 있도록 지원하겠다"고 말했다.
[머니투데이 스타트업 미디어 플랫폼 유니콘팩토리]