한두 해 전만 해도 AI 시장 경쟁은 단순했다. 누가 더 뛰어난 성능을 내느냐가 모든 것을 결정했다. 빅테크 AI 기업들은 벤치마크 점수의 가장 높은 자리에 앉기 위해 더 많은 파라미터를 투입했고, 수천억 원 규모의 학습 인프라를 구축하는 데 막대한 비용을 썼다. 최고의 AI를 만드는 것이 시장을 선점하는 길이라고 믿고 경쟁적으로 업그레이드했다.
그런데 AI를 업무에 활용하는 기업과 핵심사용자들의 분위기는 조금 다르다. 요즘 그들에게서 나오는 이야기는 "성능은 좋은데 비용이 너무 많이 든다"는 것이다.
대량의 문서를 분석하고, 고객 문의를 처리하고, 코드를 생성하는 과정에서 최고급 모델의 API를 계속 호출하다 보면 맥스 요금제라도 추가 사용료를 지불하는 일이 흔하다. 자칫하면 AI 운영비가 인건비를 뛰어넘는 상황도 생긴다. 생산성을 높이기 위해 도입한 AI가 오히려 비용 부담이 되는 역설이다.
그래서 시장의 관심도 자연스럽게 바뀌고 있다. 이제는 "가장 성능이 좋은 AI가 무엇인가?" 보다 "같은 비용으로 얼마나 높은 성능을 낼 수 있는가?"가 더 중요해지고 있다. AI도 성능 못지않게 '가성비'를 따지는 시대에 들어섰다.
중국 AI가 보여준 새 경쟁력, 성능보다 '효율'
중국 기업들이 이런 흐름을 가장 빠르게 파고들었다. 글로벌 증권회사인 UBS의 최근 분석에 따르면, 중국 주요 AI 기업들의 모델 학습 비용은 미국 프런티어 기업의 10분의 1 수준이다. API 이용 가격도 미국 모델의 10~20% 수준으로 형성되어 있다. 흥미로운 점은 이렇게 가격을 낮췄는데도 적자를 감수하는 출혈도 없다는 사실이다. 중국 기업들은 여전히 20~40% 수준의 마진을 확보하고 있다. 단순히 싸게 파는 것이 아니라 애초에 비용 구조 자체를 낮추는 데 성공했다.
중국 기업의 경쟁력은 몇 가지 기술 혁신에서 기인한다. 첫째는 전문가 혼합(MoE, Mixture of Experts) 아키텍처. 기존에는 하나의 요청이 들어오면 모델 전체가 동작했지만, MoE는 필요한 일부 파라미터만 선택적으로 활성화한다. 연산량이 줄어 비용이 절감된다. 둘째는 GPU 활용률 개선. 업계 평균 GPU 가동률이 40~50% 수준인데, 중국 기업들은 데이터 스케줄링 알고리즘을 최적화해 가동률이 70% 이상이다. 같은 장비로 훨씬 많은 작업을 처리한다. 셋째는 인프라 비용 경쟁력. 낮은 전력 비용과 데이터센터 운영비, 여기에 자국산 AI 칩 생태계가 더해지면서 전체 운영 비용을 낮추고 있다.
대표적 중국 기업인 딥시크(DeepSeek), 즈푸(Zhipu) AI, 문샷(Moonshot) AI 등 오픈소스 생태계가 빠르게 성장하면서 효율화 기술이 업계 전반으로 확산하는 선순환이 만들어졌다. 한 기업의 혁신이 생태계 전체의 경쟁력으로 이어진다.
AI도 적재적소 시대, 필요에 따라 골라 쓴다
AI 모델의 비용 차이가 커지면서 기업도 현실적으로 접근한다. 복잡한 추론이 필요하거나 중요한 의사결정을 지원하는 업무에는 비용이 들더라도 미국의 거대 프런티어 모델을 활용한다. 문서 요약, 반복적 코딩, 고객 응대처럼 반복 대량 업무에는 저렴한 모델을 골라 쓴다.
아직 확정되진 않았지만, 마이크로소프트가 현재 오픈AI와 앤트로픽 모델이 처리하는 코파일럿 추론 요청 일부를 문샷 AI의 Kimi K3로 이전을 검토하고 있다는 보도가 나왔다. 마이크로소프트는 이 전환을 통해 연간 클라우드 인프라 비용을 6억 달러 아낄 수 있다고 추산한다.
이처럼 작업 특성에 따라 가장 적합한 AI를 선택하는 '모델 라우팅(Model Routing)' 전략이 새 표준이 되고 있다. 모든 업무에 최고 성능의 모델을 사용하는 것이 아니라, 필요한 수준에 맞춰 효율적으로 배치하는 방식이다. 여러 AI 모델을 한 플랫폼에서 비교하며 사용하게 해주는 '오픈라우터(OpenRouter)'나 '포트키(Portkey)' 같은 회사가 요즘 뜨는 이유이다.
결국 AI 시장의 경쟁 기준도 달라질 수밖에 없다. 이제 승부는 벤치마크 점수를 몇 점 더 올리느냐가 아니라 같은 성능을 얼마나 낮은 비용으로 제공할 수 있는지에 달렸다. 아무리 뛰어난 AI라도 운영 비용이 지나치게 높다면 기업은 무리하게 비용을 지불하려 하지 않는다.
AI 산업은 성능만을 겨루던 시대를 지나 이제 '성능 대비 가격' 경쟁으로 접어들었다. 앞으로 시장의 주도권은 똑똑한 AI보다 '효율적인 AI'가 차지할 가능성이 커졌다. 글 / 맘이랜서 김현숙 대표