HPE가 AI(인공지능) 인프라의 경쟁력을 높이려면 GPU(그래픽처리장치) 성능뿐 아니라 전력과 냉각, 네트워크까지 함께 설계해야 한다고 강조했다. 고성능 GPU를 얼마나 많이 확보했느냐보다 실제 가동률을 높이는 것이 중요하다는 것이 회사 측 설명이다.
HPE는 전날 서울 포시즌스호텔에서 열린 AI 인프라 기술 심포지엄 'HPE 크레이 AI 2026: 빌드 더 머신'에서 이 같은 전략을 제시했다고 3일 밝혔다. 엔비디아가 후원한 이번 행사에는 기업 AI·HPC(고성능컴퓨팅)·데이터센터 담당자와 AI 스타트업 관계자 등 510여명이 사전 등록했다.
키노트에 나선 후미키 네기시 HPE HPC & AI 아시아태평양·일본 총괄 매니저 겸 부사장과 김태룡 한국 HPE HPC & AI 사업부 리더는 전력·냉각이 감당할 수 있는 설치 용량과 GPU 활용률, 시스템 가용성을 AI 인프라의 주요 평가 기준으로 제시했다. 장비 반입부터 실제 서비스에 투입되기까지 걸리는 시간도 중요하다고 봤다.
특히 AI 서버의 고성능화로 전력과 냉각 부담이 커지고 있다. 기존 기업용 서버 랙이 10kW 안팎의 전력을 사용했다면 엔비디아 'GB200 NVL72' 한 랙은 120~130kW에 달한다. 공랭 방식만으로 발열을 처리하기 어려워지면서 냉각 설비를 데이터센터 설계 단계부터 고려해야 한다는 것이 회사 측 설명이다.
HPE는 크레이와 SGI를 거치며 약 50년간 액체 냉각 기술을 축적했으며 관련 특허는 300건 이상이라고 밝혔다. 서버 한 대부터 200개 이상의 랙까지 DLC(직접수랭)로 구성할 수 있다. HPE는 "냉각은 더 이상 부대시설이 아니라 컴퓨트 아키텍처의 일부"라고 강조했다.
네트워크와 데이터 처리도 GPU 가동률을 좌우한다. HPE에 따르면 GPU 1만개 규모에서는 네트워크 대기 등으로 활용률이 1%포인트만 떨어져도 수백만달러 규모의 손실이 발생할 수 있다. HPE는 자체 네트워크 기술과 엔비디아의 고속 네트워크를 활용해 GPU 간 데이터 이동 속도를 높이고 대기 시간을 줄인다는 전략이다.