AMD 한국 핵심 협력사…AMD GPU로 최고 효율 뽑아내
토큰비용 낮추는 AI 추론 플랫폼 '망고 인퍼런스' 론칭
진정한 '소버린 AI' 생태계 구축 위해 향후 국산 NPU 적용 계획도
"망고부스트는 하드웨어에 소프트웨어 기술까지 자체 보유해 AMD GPU(그래픽처리장치)로 토큰 가성비를 최대한 끌어올릴 수 있습니다. 우리가 엔비디아의 유일한 대안이 될 수 있습니다."
김장우 망고부스트 대표는 12일 서울 강남구 그랜드 인터컨티넨탈 서울 파르나스에서 기자간담회를 열고 "새로운 서버리스 AI(인공지능) 추론 플랫폼 '망고 인퍼런스(Mango Inference)'로 기업들의 추론 성능과 토큰 효율을 높일 것"이라며 이같이 밝혔다.
망고 인퍼런스는 망고부스트의 하드웨어·소프트웨어 기술을 결합한 추론 서비스다. 복잡한 인프라 구축 없이 AI 모델을 이용할 수 있으며, 초 단위 배포와 낮은 지연, 처리량 극대화, 총소유비용(TCO) 절감을 지향한다. 망고부스트는 이번 서비스 출시를 계기로 DPU(데이터처리장치) 스타트업을 넘어 하드웨어부터 소프트웨어, 서비스까지 아우르는 풀스택 AI 인프라 기업으로 도약한다는 목표다.
최근 AI가 에이전틱 AI 시대로 진화하면서 기업의 토큰 비용 부담도 커졌다. AI 에이전트가 여러 작업을 연속 수행하면서 토큰 소비량이 급증해서다. 오픈라우터 조사에 따르면 주간 토큰 소비량은 지난해 1월 평균 대비 올해 9월 평균 250배 증가한 126조 토큰(T)에 달했다.
망고부스트는 상대적으로 저렴한 AMD GPU에 자체 소프트웨어를 결합해 추론 효율을 높이고, 불필요한 재연산을 줄이는 KV(Key-Value) 캐시 최적화 기술로 비용을 낮춘다는 설명이다. AMD GPU가 뛰어난 하드웨어 성능을 갖춰도 소프트웨어 최적화가 부족하면 실제 AI 활용 때 성능을 충분히 끌어내기 어려운데, 망고부스트가 이 간극을 줄인다. 엔비디아가 GPU 시장 1위를 유지하는 배경에 강력한 소프트웨어 '쿠다(CUDA)' 생태계가 있다는 것은 주지의 사실이다.
망고부스트는 AI 반도체와 시스템의 성능을 측정하는 벤치마크인 MLPerf와 인퍼런스X에서도 성능을 입증했다. 망고부스트는 MLPerf 인퍼런스 5.0에서 AMD Instinct GPU 다중 노드를 활용한 최초의 파트너 제출을 달성했다.
김 대표는 "우리는 엔비디아처럼 GPU를 고속으로 연결할 수 있는 고속 네트워크 카드 기술을 자체 보유했다"며 "우리 소프트웨어를 활용하면 AMD GPU로도 엔비디아 GPU에 맞먹는 AI 추론 성능을 낼 수 있어 AMD도 우리에게 메모리 우선공급을 약속했다"고 말했다. 이를 바탕으로 내년 1분기 강남에 1㎿(메가와트)급 데이터센터를 구축하고, 내년 중 이를 5㎿급 규모로 확대한다는 계획이다.
독자들의 PICK!
김 대표는 "2028년에는 AI 컴퓨팅의 80%가 추론에 쓰이고, AI 에이전트 작업 하나가 단일 모델의 채팅보다 최대 1000배 많은 토큰을 소비할 것"이라며 "워크로드를 최적화하는 AI 인프라 풀스택 기업의 역량이 중요해질 것"이라고 말했다. 그러면서 '소버린(주권) AI' 기술 확보를 위해 향후엔 국산 NPU(신경망처리장치)를 적용한 서비스를 선보일 계획이라고 했다.
한편 '망고 인퍼런스' 서비스는 서버리스와 전용 방식으로 제공된다. 개발자와 스타트업 등은 별도 인프라 설정 없이 API(응용프로그램 인터페이스)를 통해 AI 모델을 이용하고 추론 사용량도 확인할 수 있다.
