엔비디아가 차세대 AI(인공지능) 가속기 '루빈 울트라'에 들어가는 HBM(고대역폭메모리)을 기존 12단에서 8단으로 낮춘 것으로 알려졌다. HBM 가격이 오르는 가운데 필요한 대역폭은 유지하면서 '대역폭당 비용 효율'을 높이기 위한 선택으로, 삼성전자와 SK하이닉스 등 HBM 업체의 차세대 제품 경쟁에도 변수가 될 수 있다.
7일 반도체 전문 분석업체 세미애널리시스는 엔비디아가 루빈 울트라의 HBM 사양을 12단에서 8단으로 낮췄다고 분석했다. 핵심은 '용량당 비용'보다 '대역폭당 비용'에 있다는 것이다. 대역폭은 메모리와 GPU(그래픽처리장치) 사이에서 일정 시간에 얼마나 많은 데이터를 주고받을 수 있는지를 뜻한다. 도로가 넓을수록 한꺼번에 많은 차량이 이동할 수 있듯 대역폭이 클수록 같은 시간에 더 많은 데이터를 전달할 수 있다.
HBM의 용량과 대역폭이 결정되는 방식을 보면 엔비디아의 선택을 이해하기 쉽다. 단순화하면 HBM 용량은 '스택 수×스택당 D램 수×D램 하나의 용량'으로 결정된다. 여기서 스택은 D램을 수직으로 쌓아 만든 하나의 묶음이다. 12단에서 8단으로 낮추면 '스택당 D램 수'가 12개에서 8개로 줄기 때문에 같은 조건에서 전체 용량도 3분의 1 감소한다.
반면 대역폭은 '스택 수×데이터 통로의 폭×통로의 전송 속도'에 따라 결정된다. 이 계산에는 '스택당 D램 수'가 들어가지 않는다. 즉 D램을 12단에서 8단으로 낮춰도 스택 수와 데이터 통로의 폭, 전송 속도가 같다면 대역폭은 그대로 유지할 수 있다.
이를 단순화해 12단 HBM의 용량을 12, 대역폭을 100이라고 가정하면 용량 1당 대역폭은 약 8.3이다. 8단으로 낮춰 용량이 8로 줄더라도 대역폭이 100으로 유지되면 용량 1당 대역폭은 12.5로 높아진다. 기존보다 50% 증가하는 셈이다. HBM 가격이 오르는 상황에서 더 적은 D램으로 필요한 대역폭을 확보해 대역폭당 비용 효율을 높일 수 있다는 게 세미애널리시스의 분석이다.
AI 추론에서는 대역폭이 특히 중요하다. AI가 답변을 만들 때 토큰을 하나씩 생성할 때마다 모델의 가중치와 이전 연산 정보를 저장해둔 'KV 캐시(Key-Value Cache)'를 메모리에서 반복해서 읽어야 하기 때문이다. GPU가 빨라도 메모리가 데이터를 제때 보내지 못하면 추론 속도가 떨어질 수 있다.
이 같은 변화는 HBM을 공급하는 삼성전자와 SK하이닉스에도 변수다. AI 가속기 업체들이 같은 비용으로 확보할 수 있는 대역폭을 중시한다면 적층 단수와 용량뿐 아니라 '대역폭당 비용 효율'도 차세대 HBM 경쟁의 주요 기준으로 떠오를 가능성이 있다.