[이 기사에 나온 스타트업에 대한 보다 다양한 기업정보는 유니콘팩토리 빅데이터 플랫폼 '데이터랩'에서 볼 수 있습니다.]
AI (인공지능) 인프라 소프트웨어 기업 오케스트로 그룹이 국내 대표 반도체 기업 퓨리오사AI와 손잡고 국산 신경망처리장치(NPU) 기반 AI 인프라 상용화에 나선다.
오케스트로 그룹은 퓨리오사AI와 지난 18일 서울 강남구 퓨리오사AI 본사에서 'NPU 기반 AI 인프라 및 플랫폼 기술·사업 협력'을 위한 업무협약(MOU)을 체결했다고 21일 밝혔다.
양사는 올해 초부터 퓨리오사AI의 2세대 NPU 'RNGD(레니게이드)'와 오케스트로의 AI 인프라 소프트웨어를 연동하는 기술 협력을 진행해왔다. 퓨리오사AI의 NXT RNGD 서버를 오케스트로의 AI 인프라 환경에 구축해 호환성과 주요 기능을 검증하고, RNGD 기반 대규모언어모델(LLM)을 실제 서비스 환경에서 배포·서빙·운영하기 위한 기술을 개발했다.
이를 통해 오케스트로는 기존 GPU(그래픽처리장치) 중심으로 제공하던 AI 추론 운영 플랫폼 '콘체르토 AI(CONCERTO A.I.)'의 지원 범위를 RNGD까지 확대했다. 콘체르토 AI는 AI 모델 배포와 서빙, 컴퓨팅 자원 관리, 서비스 모니터링 등을 통합 지원하는 플랫폼이다.
특히 요청과 가속기 자원 특성에 따라 추론 경로를 구성하는 '지능형 라우팅'과 서비스·워크로드(AI 인프라가 실제로 처리해야 하는 '작업의 종류와 양)에 맞춰 컴퓨팅 자원을 배치하는 '토폴로지 기반 스케줄링' 기능을 지원한다. 이를 통해 GPU와 NPU 등 서로 다른 AI 가속기를 하나의 인프라 환경에서 활용할 수 있도록 했다.
이번 협약은 그동안 진행한 기술 검증을 실제 고객 사업으로 확대하기 위해 마련됐다. 양사는 다양한 AI 모델과 워크로드를 대상으로 RNGD 기반 인프라의 성능과 안정성을 검증하고 고객사 대상 BMT(벤치마크테스트)와 실증을 진행할 계획이다.
백준호 퓨리오사AI 대표는 "AI가 기업과 공공 환경으로 확산하면서 가속기의 성능과 전력 효율뿐 아니라 다양한 AI 워크로드를 안정적으로 배포·운영할 수 있는 소프트웨어와 인프라 역량의 중요성이 커지고 있다"며 "오케스트로의 AI 인프라 소프트웨어 스택과 RNGD를 결합해 대규모 AI 데이터센터와 토큰 팩토리를 운영할 수 있는 풀스택 솔루션을 구현하고 상용 구축을 확대하겠다"고 말했다.
김민준 오케스트로 그룹 의장은 "올해 초부터 퓨리오사AI와 기술 협력을 이어오며 NPU에서도 AI 모델을 배포·서빙·운영할 수 있는 기반을 마련했다"며 "이번 협약을 계기로 기술 검증을 고객 실증과 사업화로 연결하고 공공·금융·기업 시장에서 새로운 AI 인프라 구축 사례를 만들어 나가겠다"고 말했다.