AI 메모리 병목 현상 보완 대안으로 부상...아직 시장 초기 단계로 성장 전망
추론형 AI(인공지능) 확산으로 메모리 용량 부담이 커지면서 CXL(Compute Express Link)이 HBM(고대역폭메모리)의 용량 한계를 보완할 기술로 부상하고 있다. 삼성전자와 SK하이닉스 등 메모리 업체들은 CXL을 활용해 AI 서버의 메모리 효율을 높이는 기술을 잇달아 선보이며 시장 선점에 나섰다.
11일 전자업계에 따르면 삼성전자 연구진은 최근 'CXL 메모리가 AI 서비스에서 GPU(그래픽처리장치) 메모리 용량 부족 문제를 해결할 수 있는 효과적인 대안이 될 수 있다'는 내용의 논문을 일반에 공개했다. 삼성전자(239,500원 ▲9,500 +4.13%)를 비롯해 SK하이닉스(1,425,000원 ▲5,000 +0.35%), 마이크론 등 메모리 3사는 지난 4~6일 미국에서 열린 'FMS 2026'에서 CXL 관련 기술을 공개하고 활용 가능성을 제시했다.
CXL은 시스템상에 있는 메모리와 프로세서 등을 효율적으로 연결하는 기술이다. 높은 대역폭과 메모리 일관성을 제공하는 연결 방식을 통해 시스템의 메모리를 확장할 수 있도록 지원한다. 기존 D램 구성의 물리적 한계를 넘어서는 대규모 메모리 구성이 가능하다.
특히 CXL 스위치를 활용하면 여러 CXL 메모리 장치를 하나의 공유 메모리 풀(pool)로 구성할 수 있다. 필요에 따라 메모리를 유연하게 할당하고 전체 가용 메모리 용량도 늘릴 수 있다. 최근 AI 시스템에서 메모리 용량 부족 문제가 커지면서 이를 완화할 수 있는 기술로 주목받고 있다.
생성형 AI에서는 KV 캐시(Key-Value Cache) 증가로 필요한 메모리 용량도 빠르게 늘어난다. KV 캐시는 AI가 답변을 생성할 때 앞서 처리한 정보를 저장해뒀다가 다시 활용하는 데이터다. 대화가 길어지고, 동시 사용자 수가 늘어날수록 KV 캐시가 커지면서 GPU에 탑재된 HBM만으로 이를 모두 저장하기 어려운 상황이 발생할 수 있다.
메모리 제조사는 CXL 메모리를 활용하면 HBM에 모두 담기 어려운 KV 캐시를 더 큰 용량의 외부 메모리 계층으로 옮겨 저장할 수 있는 점에 주목하고 있다. 빠른 연산이 필요한 데이터는 HBM에 두고 대용량 KV 캐시는 CXL D램 등으로 확장하는 방식이다.
삼성전자 연구진도 이번 논문에서 이같은 가능성을 확인했다. 삼성전자의 D램 기반 CXL 장치들은 KV 캐시 전송 실험에서 시스템 메인 D램과 비슷한 수준의 처리량을 보였다. 특히 대화 길이가 긴 환경에서는 GPU 메모리(VRAM)만 활용한 방식과 비교해 추론 처리량이 최대 9배 향상됐고, 첫 토큰 생성시간은 최대 16분의 1 수준으로 줄었다.
독자들의 PICK!
CXL은 여러 서버가 대규모 메모리 풀을 공유하는 방식으로도 발전하고 있다. 특정 서버에는 메모리가 남고 다른 서버에는 부족한 이른바 '유휴 메모리(stranded memory)' 문제를 줄여 데이터센터의 자원 활용률을 높이고 총소유비용(TCO)을 낮출 수 있다. 삼성전자는 CXL 2.0 버전의 CMM-D 'MD220'에 이어 차세대 제품 'MD310'을 공개하고 양산 시점을 조율 중이다.
SK하이닉스는 FMS에서 여러 서버와 GPU를 연결한 분산 시스템에서 CXL을 기반으로 KV 캐시를 관리하는 메모리 확장 기술을 선보였다. 기존 네트워크를 이용하는 방식보다 데이터 이동의 병목을 줄이는 기술을 개발하고 있다.
D램과 SSD를 결합한 CXL 기반 하이브리드 메모리 기술도 연구 중이다. 대용량 데이터는 상대적으로 저렴한 SSD에 저장하고 자주 사용하는 데이터는 D램으로 미리 가져오는 계층형 구조다. 여기에 기존 작업 이력을 바탕으로 필요한 KV 캐시를 빠르게 예측하고, 미리 D램으로 가져와 처리하는 기술도 개발했다.
CXL은 아직 시장 형성 초기 단계지만 AI 인프라의 메모리 수요가 급증하면서 성장 기대도 높아지고 있다. 시장조사업체 모도어 인텔리전스에 따르면 글로벌 CXL 연결형 D램 모듈 시장은 올해 15억9000만달러에서 2031년 63억1000만달러로 약 4배 성장할 전망이다.
업계 관계자는 "아직 시장 초기 단계이지만 메모리 병목 현상으로 인해 CXL 기반 메모리 풀링 기술이 주목받고 있다"며 "AI 효율은 물론 총소유비용도 낮출 수 있어 업계의 관심이 높다"고 말했다.
