2034년까지 LLM(대형언어모델) 추론에 필요한 AI(인공지능) 칩 시장 규모가 현재보다 10배 이상 커질 것이란 관측이 나왔다. 특히 대형 LLM 구현을 위한 고성능·고용량 메모리 수요가 확대되면서 HBF(고대역폭플래시)가 HBM(고대역폭메모리)의 용량 한계를 보완할 새로운 해법으로 제시됐다.
샤오위 마 구글 딥마인드 연구원은 6일(현지시간) 미국 캘리포니아주 샌타클래라컨벤션센터에서 열린 세계 최대 규모 메모리·스토리지 컨퍼런스 'FMS(Future of Memory and Storage) 2026'에서 2034년까지 LLM 추론에 필요한 AI 칩 시장이 10배 이상 성장할 것으로 전망했다. 'HBF로 메모리 월을 넘다'를 주제로 열린 패널 토의에는 마 연구원을 비롯해 라지브 나가비라바 샌디스크 부사장, 임의철 SK하이닉스 부사장 등이 참여했다.
마 연구원은 AI 모델의 매개변수 증가와 이미지·영상·음성 등을 함께 처리하는 멀티모달 성능 향상, KV 캐시(Key-Value Cache) 증가 등이 메모리 수요를 끌어올릴 것으로 분석했다. 특히 AI 추론은 대용량과 높은 데이터 처리 속도를 동시에 요구한다. 마 연구원은 HBF가 대용량을 제공하면서도 읽기 중심인 AI 추론 워크로드에 적합하다고 평가했다. 기존 스토리지 제품과 비교해 높은 대역폭과 에너지 효율을 동시에 확보할 수 있다는 설명이다.
HBF는 HBM과 SSD 사이에 위치하는 새로운 메모리 계층이다. D램 기반인 HBM과 달리 낸드플래시를 사용해 용량을 크게 늘릴 수 있다. HBM을 대체하는 것이 아니라 함께 배치돼 HBM의 부족한 용량을 보완하는 방식이다.
샌디스크는 HBF가 AI 추론 비용을 낮출 수 있다는 점을 강조했다. 나가비라바 부사장은 HBF 적용 시스템이 미적용 시스템보다 KV 캐시를 인식하고 최적 배치하는 능력을 2배 이상 높여 토큰 생성 시간을 줄이고 GPU(그래픽처리장치) 사용 비용과 부하를 낮출 수 있다고 설명했다.
SK하이닉스는 HBF 상용화를 위해 하드웨어와 소프트웨어를 함께 최적화하는 '코디자인(Co-design)'이 필요하다고 강조했다. 프로세서가 요청하기 전에 연산에 필요한 데이터를 미리 불러오는 '프리페칭' 기술과 HBM·HBF의 장점을 결합한 '하이브리드 메모리 아키텍처'설계 등을 활용해 D램보다 지연시간이 길고 쓰기 속도가 느린 낸드플래시의 한계를 보완할 수 있다는 설명이다.
임의철 SK하이닉스 부사장은 "HBF를 실제 시스템에서 잘 활용하기 위해서는 여전히 헤쳐나가야 할 과제가 많다"며 "xPU(연산처리장치) 설계와 LLM 전문가, 소프트웨어 엔지니어 등 다양한 멤버들이 함께해 완성도 높은 스펙을 만들어 가야 할 필요가 있다"고 밝혔다.
SK하이닉스와 샌디스크는 FMS 2026 개막에 맞춰 HBF 첫 표준 규격을 공개했다. 지난해 8월 HBF 표준화 협력에 나선 데 이어 올해 2월 컨소시엄을 출범한 지 약 6개월 만에 내놓은 첫 성과다. 현재 컨소시엄에는 SK하이닉스와 샌디스크, 구글, 텐스토렌트가 참여 중이다. HBF 표준은 낸드 다이를 8단과 16단으로 적층하는 두 가지 스택 구성을 기준으로 최대 512GB(기가바이트) 용량을 정의했다. 대역폭은 3개 등급(Grade 1~3)으로 나눠 초당 약 0.4TB(테라바이트)에서 최대 3.0TB까지 구현할 수 있도록 규정했다.
업계 관계자는 "제품과 표준이 갖춰져도 결국 채용하는 고객이 있어야 시장이 열린다"며 "AI 모델을 직접 개발·서비스하는 구글이 실제로 쓰는 쪽의 관점에서 HBF의 필요성을 제시했다는 점에서 의미가 있다"고 밝혔다.