AI(인공지능)가 새로운 정보를 끊임없이 학습하는 '연속학습(Continual Learning)' 기술이 메모리 반도체(이하 메모리) 시장의 새 성장 동력으로 떠오르고 있다. 최근 'AI 속도 조절론' 우려에도 연속학습이 본격화되면 HBM(고대역폭메모리)에 집중됐던 AI 메모리 수요가 서버용 D램과 낸드플래시(이하 낸드)까지 확산될 것이라는 전망이다. 삼성전자와 SK하이닉스의 수혜 범위도 넓어질 것으로 예상된다.
19일 전자업계에 따르면 최근 글로벌 투자은행 씨티(Citi)는 내년 글로벌 HBM 비트(bit) 수요가 올해 대비 62% 증가한 752억Gb(기가비트)에 이를 것으로 예상했다. 2028년에는 올해보다 2.8배 늘어난 1270억Gb 수준으로 내다봤다.
씨티는 HBM 수요 급증의 주요 배경 중 하나로 '연속학습'을 꼽았다. 연속학습은 AI가 새로운 데이터와 경험을 계속 학습하면서 기존에 습득한 지식도 유지하는 방식이다. AI가 학습과 추론을 반복하면서 HBM뿐 아니라 서버용 D램과 eSSD(기업용 솔리드스테이트드라이브) 수요가 동시에 증가할 것이라는 분석이다.
씨티는 "메모리 사양 하향과 최근 AI 안전성에 대한 우려에도 불구하고 AI의 연속학습이 장기적인 메모리 수요를 재편할 것"이라고 설명했다. 향후 5년간 연속학습이 AI의 핵심 주제로 부상하면서 메모리 공급 부족도 2031년까지 이어질 것으로 봤다.
현재 대부분의 생성형 AI는 대규모 데이터를 미리 학습한 뒤 이를 바탕으로 답변을 생성하는 방식이다. 서비스 과정에서 접하는 새로운 정보가 자동으로 모델의 장기 지식으로 반영되지는 않는다. 이로 인해 질문할 때마다 지난 대화 기록을 다시 읽는 등의 비효율이 발생한다.
하지만 연속학습에서는 학습과 추론의 경계가 흐려진다. AI가 서비스를 제공하는 과정에서도 새로운 데이터와 경험을 학습하고 이를 기존 지식과 결합하는 것이 목표다. 기존 AI가 '공부를 마친 뒤 시험을 보는 학생'이라면 연속학습 AI는 '시험을 보면서도 새로운 내용을 계속 공부하는 학생'에 가깝다.
연속학습 모델에서는 더 많은 메모리 용량이 필요하다. 새로운 정보를 지속적으로 학습하는 동시에 기존에 습득한 방대한 데이터에도 접근해야 하기 때문이다. 모든 데이터를 가격이 비싼 HBM에 담을 수 없는 만큼 HBM 외에 서버용 D램과 낸드 기반 eSSD 등을 배치하는 방식도 중요해진다. AI 메모리 시장의 수혜가 HBM 중심에서 서버용 D램과 낸드로 확산될 수 있다는 의미다.
메모리의 역할도 달라진다. AI 모델이 추론 과정에서도 학습이 진행되기 때문에 단순히 메모리 대역폭 확대만으로는 데이터 이동의 병목을 해결하기 어렵다. 이에 메모리 내부나 가까운 곳에 직접 연산하는 PIM(Processing-In-Memory) 등의 필요성이 커질 수 있다.
삼성전자와 SK하이닉스도 이같은 AI 메모리 구조 변화에 대응하고 있다. 지난 16일(현지시간) 미국 캘리포니아주에서 열린 'AI 인프라 서밋 2026'에서 양사는 기존 GPU(그래픽처리장치)와 HBM 중심의 AI 인프라가 가진 한계를 해결하기 위한 차세대 기술을 나란히 소개했다.
삼성전자는 AI 가속기 위에 HBM을 직접 쌓는 3차원 적층 메모리 'zHBM'을 해법으로 제시했다. 기존처럼 가속기 옆에 HBM을 배치하는 2.5D 구조에서 벗어나 HBM을 가속기 위에 직접 쌓아 데이터 이동 거리를 줄이겠다는 구상이다. AI 응답속도를 10배 높이는 것이 목표다.
SK하이닉스는 PIM, SALT-KV(Semantic-Aware Lifecycle Tiering for KV Cache) 등의 기술을 소개하고, HBF(고대역폭플래시) 구조 모형을 전시하기도 했다. SALT-KV는 AI가 활용하는 데이터를 특성에 따라 HBM과 D램, SSD 중 가장 적합한 저장 계층에 배치해 메모리 자원 효율을 높이는 기술이다. 앞서 임의철 SK하이닉스 담당은 'AI 인프라 서밋' 발표에서 "기존의 GPU-HBM 구조만으로는 새로운 요구사항을 충족하기 어려워지고 있다"며 "변화한 워크로드에 맞춰 하드웨어와 소프트웨어를 아우르는 새로운 솔루션으로 PIM과 HBF, 그리고 SALT-KV를 준비하고 있다"고 말했다.