[이 기사에 나온 스타트업에 대한 보다 다양한 기업정보는 유니콘팩토리 빅데이터 플랫폼 '데이터랩'에서 볼 수 있습니다.]
AI (인공지능) 인프라 솔루션 기업 모레가 미국에서 열린 'AI 인프라 서밋 2026'에서 엔비디아·AMD 등 서로 다른 AI 반도체를 하나의 자원처럼 활용하는 '토큰 팩토리(Token Factory) OS'와 분산 추론 기술을 공개했다고 16일 밝혔다.
AI 인프라 서밋은 AI 인프라 분야의 최신 기술과 전략을 공유하는 글로벌 행사다. 올해 행사는 15~17일(현지시간) 미국 산타클라라 컨벤션센터에서 열리며 8000명 이상의 업계 관계자와 250개 이상의 파트너사가 참여한다.
조강원 모레 대표는 행사 첫날 '이기종 가속기 데이터센터를 위한 LLM (거대언어모델) 서빙 프레임워크'를 주제로 발표하고 AI 데이터센터의 경쟁력이 GPU (그래픽처리장치) 확보량에서 AI 모델의 '토큰'을 얼마나 효율적이고 낮은 비용으로 생산하는지로 이동하고 있다고 설명했다. 토큰은 생성형 AI가 텍스트를 처리하고 생성하는 기본 단위다.
모레가 제시한 '토큰 팩토리'는 AI 데이터센터를 GPU 연산 자원을 제공하는 시설이 아니라 토큰을 효율적으로 생산하는 일종의 공장으로 운영하자는 개념이다. 이를 위한 '토큰 팩토리 OS'는 특정 GPU에 종속되지 않고 엔비디아·AMD·텐스토렌트 등 서로 다른 AI 가속기를 하나의 자원처럼 활용해 추론 작업을 분산한다.
모레는 이번 행사에서 엔비디아 H100과 AMD MI300X를 결합한 추론 사례도 공개했다. 사용자의 입력을 처리하는 '프리필(Prefill)'은 H100이, 답변을 생성하는 '디코드(Decode)'는 MI300X가 담당하도록 역할을 나눴다. 모레에 따르면 동일 업체의 가속기만 활용한 구성보다 최대 1.67배 높은 처리량을 기록했다.
조 대표는 "AI 데이터센터는 GPU를 제공하는 공간에서 토큰을 생산하고 판매하는 '토큰 팩토리'로 진화하고 있다"며 "중요한 것은 특정 GPU의 성능이 아니라 서로 다른 가속기를 얼마나 효율적으로 활용해 낮은 비용으로 토큰을 생산하느냐"라고 말했다.
이어 "다양한 종류와 세대의 가속기를 하나의 인프라처럼 활용할 수 있는 분산 추론 소프트웨어가 필요하다"며 "고객이 특정 하드웨어에 종속되지 않고 자신에게 가장 효율적인 토큰 팩토리를 구축할 수 있도록 지원할 것"이라고 말했다.