"AIDC 핵심은 전력당 처리 토큰량…GPUaaS로 최신 가속기 공급"

"AIDC(AI 데이터센터)의 핵심은 전력당 처리 토큰량을 끌어올리는 겁니다. 그래서 최신 GPU(그래픽처리장치) 확보가 중요합니다."

29일 최정진 삼성SDS(삼성에스디에스(206,000원 ▼16,500 -7.42%)) 에반젤리스트그룹장은 서울 삼성동 코엑스 B홀에서 열린 '2026 AI 인프라 프런티어 컨퍼런스'에서 이같이 강조했다. 최 그룹장은 '삼성 클라우드 플랫폼(SCP)의 기업 AI 인프라'를 주제로 발표했다.

전력당 처리 토크량을 높이기 위해선 최신 GPU가 필요하다. 최 그룹장은 "엔비디아 GPU는 한 세대가 올라갈수록 평균적으로 가격이 2배 비싸지면서 성능은 3배 정도 좋아진다"며 "전력당 성능도 좋아지는 만큼 최신 가속기를 빨리 도입하는 것이 효율적으로 운영하는 방법"이라고 말했다.

삼성SDS는 GPUaaS(그래픽처리장치를 빌려주는 서비스), NPUaaS(신경망처리장치를 빌려주는 서비스) 등 서비스를 서버리스(Serverless)로 공급한다. GPU, NPU 등 가속기를 구매해서 쓰는 경우 최신 가속기가 나올 때마다 시간과 비용이 많이 드는 반면 서버리스 서비스는 삼성SDS가 확보한 최신 가속기를 쓰면 되기 때문에 경제적이다.

삼성SDS는 지난 3월 국내 최초로 B300 GPUaaS를 출시하고, 지난 7월 퓨리오사AI의 2세대 NPU(신경망처리장치) '레니게이드(RNGD)' 기반 NPUaaS를 시작하는 등 서버리스 서비스를 확장 중이다. 삼성SDS는 SCP를 통해 서버리스 서비스를 제공한다.

서버리스 서비스는 대규모 투자 이전에 AI 활용 방안과 가능성을 미리 확인해볼 수 있다는 장점도 있다. AI 학습에는 GPU를, 추론 등 작업에는 NPU를 사용하는 등 특성에 맞게 선택할 수도 있다. 최 그룹장은 "GPU를 처음부터 구매하기보단 서비리스로 먼저 활용 방법을 찾거나 PoC(기술검증)를 진행하면 더 효율적인 사업이 가능하다"며 "GPU를 전체 조직에 적용하고 싶다면 GPU로 클러스터를 만들고 NPU를 조합해 쓰면 더 효율적"이라고 설명했다.

AIDC도 에너지 효율적으로 운영한다. △냉각·설비 설계 역량 △PUE(전력효율지수) 개선 △글로벌 수준 운영 인증 △안정적 전원·설비 구조 등이 장점이다.

삼성SDS는 초고밀도 전산 환경 내 냉각 기술 4건을 국내 특허 출원했다. 동탄 데이터센터는 PUE를 1.19까지 끌어내리며 국내 최고 수준을 달성했다. PUE는 1에 가까울수록 효율적이라는 뜻이다. 이외에도 진도 9에 대응되는 내진 설계, 냉방설비·인입 관로 이중화 등 전원·설비 구조를 갖췄고 ISO 27001·22301·50001, ISMS-P 등 인증을 취득했다. 또 삼성SDS는 엔비디아의 DSX와 자체 데이터센터 인프라 매니지먼트 프로그램(DCIM)을 결합해 AIDC를 설계·구축한다. DSX와 DCIM 간의 간극은 AI가 실시간 예측하고 선제 대응한다.

삼성SDS는 심플 AI 트레이닝·인퍼런스라는 간편한 상품도 제공한다. 심플 AI 트레이닝은 고객사가 인프라를 직접 구성하지 않고도 LLM을 학습시킬 수 있는 상품이다. 이를 통해 학습시킨 모델이나 삼성SDS가 미리 구축해 둔 오픈웨이트 모델은 심플 AI 인퍼런스로 쓸 수 있다.