머니투데이

엔비디아의 칩 같은 AI 가속기(GPU)는 챗GPT 같은 인공지능(AI) 에이전트를 똑똑하게 훈련시키기 위해 한 번에 어마어마한 양의 수학 계산을 해야 한다. 계산결과를 빛의 속도로 저장하고 다시 읽어와야 하는데 이 때 중요한 게 메모리 칩의 성능이다. GPU가 아무리 빨라도 데이터를 제공해주는 메모리가 늦는다면 GPU가 일을 멈추고 놀게 된다. GPU가 늘어날 때 메모리 반도체의 수요가 기하급수적으로 더 늘어나는 이유다. 엔비디아의 GPU에 걸맞는 메모리 반도체는 HBM이다. D램 같은 기존 메모리 반도체를 1차선 국도로 치면, HBM은 수백 대의 차가 동시에 내달릴 수 있는 1024차선 아우토반으로 비유된다. D램을 아파트처럼 위로 쌓은 뒤 구멍을 뚫어 수직으로 연결했기 때문에 데이터가 이동하는 통로(대역폭)가 기형적으로 넓다. 물리적으로 메모리칩은 GPU와 한몸처럼 붙어 있어야 제 성능을 낼 수 있다. 고3 수험생에게 집과 학원의 거리나 마찬가지다. 1나노미터 거리가 엄청난 차이를 불러온다. 가정용 PC를 보면 CPU칩이 보드 한 가운데 박혀있고 그 옆 슬롯에 DDR4·DDR5 메모리 막대가 따로 꽂혀 있다.