[이 기사에 나온 스타트업에 대한 보다 다양한 기업정보는 유니콘팩토리 빅데이터 플랫폼 '데이터랩'에서 볼 수 있습니다.]
기업의 AI (인공지능) 인프라 경쟁력이 단순히 더 많은 GPU(그래픽처리장치)를 확보하는 것보다 제한된 자원으로 추론 성능과 비용 효율을 얼마나 높이느냐로 옮겨가고 있다.
AI·클라우드 소프트웨어 전문 오케스트로그룹은 지난달 개최한 기술 컨퍼런스 'OPUS 2026'을 통해 기업과 공공기관의 AI 인프라 구축 수요를 분석한 결과, 이들의 관심사가 GPU 확보에서 추론 성능과 운영 효율로 이동하고 있다고 7일 밝혔다.
지난달 28일 서울 코엑스에서 열린 'OPUS 2026'에는 공공기관과 금융사, 제조·통신기업, IT서비스 기업 관계자 등 2000여명이 참석했다. 행사에서는 GPU 자원 배분과 응답 지연 개선, 복잡한 AI 추론 환경의 운영 효율화 등에 대한 상담이 집중됐다. 기존 인프라를 활용해 AI 서비스의 성능을 높이려는 수요가 공통적으로 나타나고 있는 것.
행사 이후 참가자 1703명을 대상으로 진행한 설문조사에서도 이 같은 흐름이 확인됐다. 응답자들은 AI 인프라와 추론 환경을 운영하면서 가장 큰 부담으로는 GPU 서버 비용(36.9%)과 AI 인프라 전문인력 부족(36.5%)을 꼽았다. AI 인프라 구축·운영 경험이 부족하다는 응답도 22.2%를 차지했다.
AI 추론 플랫폼을 선택할 때 가장 중요하게 고려하는 요소로는 추론 성능과 응답 속도(20.2%)를 꼽은 응답자들이 가장 많았다. GPU 활용률과 비용 효율(19.2%), 기존 인프라 및 클라우드와의 연계성(16.7%)이 뒤를 이었다.
오케스트로는 이 같은 결과를 바탕으로 AI 인프라 경쟁의 중심이 하드웨어 확보에서 소프트웨어 기반 운영 효율화로 이동하고 있다고 분석했다.
김민준 오케스트로그룹 의장은 "기업과 공공기관이 AI 인프라를 운영하며 겪는 어려움이 GPU 확보 자체보다 운영 효율과 추론 성능으로 옮겨가고 있다"며 "한정된 자원에서도 AI 서비스의 응답 성능과 처리 효율을 높일 수 있는 기술을 지속적으로 제공하겠다"고 말했다.
한편 오케스트로는 AI 추론 운영 플랫폼 '콘체르토 AI'를 통해 분산 서빙 기반 추론 최적화와 실시간 자원 배분 기능을 제공하고 있다. 이를 통해 GPU 활용률을 높이고 응답 지연을 줄여 기업의 AI 인프라 운영 효율을 높이고 있다.