SK텔레콤이 엔비디아의 차세대 AI(인공지능) 시스템 '베라 루빈 NVL72' 도입을 준비하면서 GPU(그래픽처리장치) 가동 준비 시간을 기존 하루 이상에서 약 60분으로 줄이는 기술 개발에 나섰다. 엔비디아와 협력해 AI 데이터센터 운영을 자동화하고 내년 상반기부터 관련 서비스를 확대할 계획이다.
정민영 SK텔레콤 AI 팩토리 서비스 담당 부사장은 9일 서울 강남구 코엑스에서 열린 '엔비디아 AI 데이 서울 2026'에서 이 같은 AI 데이터센터 구축·운영 전략을 공개했다.
정 부사장은 "최근 GPU 임대 가격을 생각하면 고객이 사용하지 못하는 시간 자체가 돈"이라며 "사람이 개입하지 않는 상황에서 소프트웨어적으로 자동 검증하는 것이 중요하다"고 말했다.
SK텔레콤은 자체 개발한 'AI 팩토리 OS'와 엔비디아의 'DSX OS'를 결합해 AI 데이터센터 운영체계를 구축하고 있다. 기존 B200 기반 클러스터부터 차세대 베라 루빈 NVL72까지 지원하는 구조다. NVL72는 GPU 72개를 하나의 고속 연결망으로 묶은 랙 단위 시스템이다.
핵심은 GPU 가동 준비 시간 단축이다. 기존에는 GPU와 네트워크 연결 상태, 소프트웨어 구성 등을 점검하는 데 하루에서 이틀 이상 걸렸지만 SK텔레콤은 NVL72의 초기 설정과 검증을 약 60분 안에 마치는 것을 목표로 하고 있다.
정 부사장은 "과거에는 개별 GPU 서버를 도입하는 데 집중했다면 이제는 시스템과 스토리지까지 통합해 고객이 원하는 작업을 수행할 수 있는지가 중요해졌다"고 설명했다.
보안 체계도 강화한다. 엔비디아의 DPU(데이터처리장치)를 활용해 고객 서버와 운영 시스템을 분리하는 OOB(대역외 관리) 방식을 도입하고 있다. 고객 서버에 직접 접근하지 않고도 별도 관리망을 통해 상태를 확인하고 보안 정책을 적용하는 구조다.
정 부사장은 "최근 고객들은 서비스 제공자가 자신의 데이터와 트래픽에 접근하지 않는다는 것을 어떻게 보장할 것인지 진지하게 묻고 있다"고 말했다.
고객별 GPU 사용 방식도 다양화한다. 하나의 GPU 클러스터를 여러 고객에게 나눠 제공하면서도 작업 환경을 분리하는 기술을 개발하고 있다. GPU와 냉각 설비의 상태 정보를 수집해 장애를 사전에 감지하고 복구 시간을 줄이는 방안도 추진한다. 정 부사장은 "GPU의 짧은 장애가 사업성 전체에 미치는 영향이 굉장히 크다"며 안정적인 운영의 중요성을 강조했다.
SK텔레콤은 내년 상반기부터 고객이 GPU 서버를 직접 사용하는 베어메탈 서비스를 시작으로 AI 작업을 자동 배포·관리하는 쿠버네티스 기반 서비스와 AI 모델 추론 환경을 단계적으로 제공할 계획이다. 이후 AI 연산 결과를 토큰 단위로 제공하는 서비스까지 사업 범위를 확대한다는 구상이다.
한편 이날 크리스 조 엔비디아 DSX 제품 매니저는 AI 데이터센터의 전력·냉각·운영을 통합 관리하는 DSX 참조 설계를 소개했다. 디지털 트윈 기반 설계 검증과 전력 사용량 조정 기술 등을 통해 제한된 전력으로 AI 연산 효율을 높이는 방안을 제시했다.