[줌인트렌드]추론비용 절감부터 매출 대비 효과 검증
[이 기사에 나온 스타트업에 대한 보다 다양한 기업정보는 유니콘팩토리 빅데이터 플랫폼 ‘데이터랩’에서 볼 수 있습니다.]
고성능 인공지능(AI) 모델이 잇달아 쏟아지면서 서비스 운영 기업들의 비용 부담도 덩달아 커지고 있다. 최근 출시된 앤트로픽의 '클로드 페이블 5.1'과 오픈AI의 'GPT-6 아스트라' 역시 뛰어난 성능만큼이나 높아진 가격으로 주목받았다.
앤트로픽의 클로드 페이블 5.1의 API 표준 단가는 입력 100만 토큰당 10달러, 출력 100만 토큰당 50달러다. 같은 회사의 경량 모델인 '클로드 하이쿠 4.5'(입력 1달러, 출력 5달러)와 비교하면 10배 비싸다.
모델 성능에 따라 비용 차이가 크게 벌어지면서 '비싼 모델이 실제로 그만한 값을 하는가'를 면밀히 따져야 하는 상황이 됐다. 단순히 성능이 높은 모델을 선택하는 것을 넘어 GPU 비용과 응답 속도, 실제 서비스 성과까지 종합적으로 고려해 AI 사용 효율을 높이는 것이 업계의 새로운 과제로 떠올랐다.
이에 따라 AI 산업의 경쟁 무게중심이 모델의 단순 성능에서 '추론 효율'로 옮겨가고 있다는 분석이 나온다. GPU 비용과 응답 지연이 AI 서비스의 수익성과 직결되는 만큼 국내 스타트업들도 각기 다른 접근법으로 AI 운용 비용을 낮추는 기술을 잇달아 선보이고 있다.
비용 낮추는 '추론 효율화' 기술 개발
AI 모델을 직접 구축하거나 외부 모델을 활용해 서비스를 운영하는 기업이 늘면서 추론 과정에서 발생하는 GPU 비용도 눈덩이처럼 커지고 있다. 모델 성능을 높이는 것과 별개로, 같은 성능을 유지하면서 얼마나 적은 자원으로 AI를 구동할 수 있는지가 서비스 운영의 핵심 요인이 됐다.
가장 직접적인 방법은 AI 모델 실행에 필요한 인프라 비용 자체를 줄이는 것이다. 프렌들리AI는 '컨티뉴어스 배칭'을 비롯한 AI 추론 최적화 기술을 서비스하고 있다. 여러 이용자의 요청을 효율적으로 묶어 연산 시간을 최소화하는 것이 핵심이다.
동일한 GPU 인프라에서 더 많은 연산을 처리하게 함으로써 GPU 비용을 50% 이상 낮출 수 있다는 설명이다. 실제로 챗봇 서비스 '제타'를 운영하는 스캐터랩은 프렌들리AI의 기술을 도입해 대폭적인 인프라 비용절감 효과를 본 것으로 알려졌다.
2022년 설립된 스퀴즈비츠는 모델 성능을 유지하면서도 추론에 필요한 메모리와 연산량을 획기적으로 줄이는 기술을 개발했다. 네이버D2SF, 카카오벤처스, 삼성넥스트 등으로부터 투자를 유치한 데 이어, 올해 6월 AI 반도체 기업 리벨리온에 인수됐다. 리벨리온은 자사 AI 반도체의 연산 성능에 더해 모델을 효율적으로 구동하는 소프트웨어 역량까지 확보하기 위해 스퀴즈비츠를 품은 것으로 풀이된다.
하드웨어 단에서 추론 비용을 낮추려는 시도도 이어지고 있다. 거대언어모델(LLM) 추론 전용 반도체(LPU)를 개발하는 하이퍼엑셀은 고가의 고대역폭메모리(HBM) 대신 LPDDR을 채택하면서도, 메모리 대역폭을 극한으로 활용해 비용 효율을 극대화하는 데 초점을 맞췄다. 데이터를 메모리와 연산 장치 사이에서 반복 이동시키는 과정 자체가 병목이 되는 LLM 추론의 약점을 파고들어 연산을 최대한 코어 내부에서 처리하고 데이터 이동을 최소화하는 구조를 개발했다.
'실사용 성능' 검증 파고든 기업들
어떤 AI 모델을 서비스에 얹을지 결정하는 과정 자체의 중요성도 커졌다. 개발사가 일방적으로 공개한 벤치마크 점수만으로는 실제 서비스 환경에서의 퍼포먼스를 정확히 가늠하기 어렵기 때문이다.
독자들의 PICK
지금 2,732명 읽는 중
AI 데이터·신뢰성 검증 기업 셀렉트스타는 이러한 비용 효율성의 맹점을 풀기 위한 기능 고도화에 나섰다. 현재 생성형 AI 서비스의 신뢰성을 자동 검증하는 솔루션 '다투모 이밸'을 운영 중인 셀렉트스타는 서비스 목적에 맞는 평가 기준을 세우고 질문을 자체 생성해 답변의 정확성과 안전성을 검증하고 있다.
내년 1분기 중 '비용 대비 성능(가성비)'을 평가하는 기능을 추가 탑재해 기업들이 실사용 환경에 꼭 맞는 최적의 AI 모델을 찾을 수 있도록 방향성을 제시한다는 목표다.
김세엽 셀렉트스타 대표는 "지금까지는 주로 동일한 조건과 데이터에서 어떤 정확도를 내는지 평가하는 데 집중했다"며 "앞으로는 답변에 소요된 시간이나 추론 비용까지 결부시켜 정확도 및 성능 대비 비용을 함께 따질 수 있도록 플랫폼을 업데이트하고 있다"고 밝혔다.
모델의 비용 대비 서비스 기여도를 직접 비교·검증해 주는 스타트업도 등장했다. 고려대 대학생 창업팀이 설립한 앱토는 외부 LLM API를 연동해 쓰는 기업들을 타깃으로 삼았다. 동일한 AI 기능에 서로 다른 모델을 교차 적용한 뒤, 이용자의 결제나 재방문 같은 핵심 행동 데이터와 AI 호출 비용을 나란히 분석해 준다.
이를 통해 기업은 단순 벤치마크 점수에 의존하지 않고, 자사 서비스에서 실제 더 높은 매출과 긍정적 이용자 반응을 이끌어내는 '적정 모델'을 데이터 기반으로 선택할 수 있다. 신규 모델을 전체가 아닌 일부 이용자에게만 선별 적용해 기존 모델과 성과를 A/B 테스트하듯 비교하는 기능도 지원해 실효성을 높였다는 설명이다.
[머니투데이 스타트업 미디어 플랫폼 유니콘팩토리]
