[이 기사에 나온 스타트업에 대한 보다 다양한 기업정보는 유니콘팩토리 빅데이터 플랫폼 '데이터랩'에서 볼 수 있습니다.]
AI (인공지능) 인프라 소프트웨어 기업 오케스트로가 추가적인 GPU(그래픽처리장치) 투자 없이도 AI 서비스 성능을 높일 수 있는 추론 인프라 최적화 전략을 공개한다.
오케스트로는 오는 27일 오후 2시 'AI 서비스 성능 개선, GPU부터 더 사야 할까?'를 주제로 온라인 웨비나를 개최한다고 26일 밝혔다.
최근 생성형 AI와 에이전틱 AI가 확산하면서 AI 모델을 학습시키는 것뿐 아니라 실제 서비스 운영 과정에서 GPU 자원을 효율적으로 활용하는 기술의 중요성이 커지고 있다. 에이전틱 AI는 하나의 일을 처리하기 위해 AI를 여러 번 작동시켜야 하는데, 이 과정에서 여러 작업이 GPU를 동시에 사용하려다 보니 처리 속도가 느려질 수 있다.
이번 웨비나에서 오케스트로는 자체 개발한 AI 추론 운영 플랫폼 '콘체르토 AI'를 활용해 GPU 자원 활용도를 높이고 AI 서비스의 응답 지연을 줄이는 방안을 소개할 예정이다.
콘체르토 AI는 LLM(대규모언어모델)의 추론 과정을 입력 정보를 처리하는 '프리필(Prefill)'과 답변을 생성하는 '디코드(Decode)' 단계로 나눠 각각의 GPU 자원을 효율적으로 활용하도록 설계된 플랫폼이다. AI 추론 인프라의 구축과 배포를 자동화하고 성능 모니터링 기능도 제공한다.
오케스트로에 따르면 성능 검증 결과 콘체르토 AI는 기존 모델 서빙 방식과 동일한 GPU 자원을 사용하면서도 고부하 환경에서 처리량을 62.8% 높이고 토큰 생성 지연 시간을 52.1% 줄였다.
글로벌 데이터 스토리지 기업 넷앱(NetApp)과 연계한 AI 인프라 최적화 성과도 공개한다. GPU 다이렉트 스토리지(GDS) 기술을 활용해 GPU 메모리 부담을 줄이고 동시 사용자 처리 효율을 높이는 방식이다.
이를 통해 AI 모델의 가중치를 불러오는 데 걸리는 시간을 기존 71초에서 8초로 단축했다. 신규 서버가 실제 서비스에 투입되기까지 걸리는 시간도 187초에서 80초로 줄였다.
오케스트로는 향후 콘체르토 AI의 기능을 AI 개발 환경과 모델 운영·관리, 통합 모니터링 영역까지 확대할 계획이다. 엔비디아 GPU뿐 아니라 국산 NPU(신경망처리장치) 등 다양한 하드웨어를 지원해 기업의 독립적인 AI 인프라 운영도 뒷받침한다는 구상이다.
김범재 오케스트로 대표는 "AI 시대에는 GPU를 얼마나 많이 확보하느냐보다 보유한 자원의 성능을 최대한 끌어내는 운영 역량이 중요해지고 있다"며 "기업들이 GPU 투자 효과를 높이고 AI 서비스를 안정적으로 운영할 수 있도록 실질적인 해법을 제시하겠다"고 말했다.
한편 오케스트로 그룹의 계열사 오케스트로 클라우드는 최근 퓨리오사AI, 업스테이지 등 4개사와 업무협약(MOU)을 체결하고 국산 NPU 기반 '소버린 AI 풀스택 어플라이언스'를 공동 개발, 국산 AI 인프라 생태계 구축을 위한 협력도 추진하고 있다.