[고석용의 비하인드 칩스]
[이 기사에 나온 스타트업에 대한 보다 다양한 기업정보는 유니콘팩토리 빅데이터 플랫폼 ‘데이터랩’에서 볼 수 있습니다.]
#지난달 23일(현지시간) 미국 샌프란시스코에서 열린 AMD 주최 연례 컨퍼런스 '어드밴싱 AI(인공지능) 2026' 현장에 깜짝 손님이 등장했다. 기조연설을 이어가던 리사 수 AMD CEO(최고경영자)가 직접 소개한 AI 추론 연산용 반도체(이하 추론 반도체) 개발사 세레브라스의 앤드루 펠드먼 CEO다.
수 CEO와 펠드먼 CEO는 이 자리에서 세레브라스의 'CS-3'를 AMD의 '헬리오스'와 연동시킨다고 발표했다. 헬리오스는 AMD의 최상위 반도체가 탑재된 AI 서버랙이다. 여기에 AI 추론 성능이 GPU(그래픽처리장치)보다 20배 이상 빠른 세레브라스의 CS-3을 연동해 AI 추론 속도를 극단적으로 끌어올린단 계획이다.
#지난해 12월, 유사한 행보가 엔비디아에서도 있었다. 엔비디아는 200억달러(29조원)에 추론 반도체 스타트업 그록(Groq)의 자산과 핵심 인력을 인수했다. 젠슨황 엔비디아 CEO는 올해 3월 GTC2026에서 그록의 기술을 최상위 AI 서버랙 '베라 루빈'에 통합해 AI 추론 속도를 높이겠다고 강조했다.
글로벌 반도체 공룡들이 추론 반도체 스타트업들에게 잇달아 손을 내밀고 있다. 엔비디아, AMD뿐 아니라 인텔도 올해 초 추론 반도체 스타트업 삼바노바와 협력 계획을 전했고, AMD는 세레브라스와의 협업 발표 몇 주 뒤, 또 다른 추론 반도체 스타트업 탈라스를 인수하겠다고 발표했다.
이런 움직임에 리벨리온, 퓨리오사AI 등 국내 반도체 스타트업들도 주목하고 있다. 이들이 개발하는 NPU(신경망처리장치)도 추론 반도체여서다. 이들은 일련의 행보가 'GPU 외에 추론 반도체 시장이 정말 존재하냐'는 의구심을 해소해주는 계기가 됐다고 평가했다.
리벨리온 관계자는 "빅테크 업계에서 추론 반도체에 대한 수요를 인정한 긍정적 신호로 본다"고 전했고, 퓨리오사AI 관계자도 "이기종(Heterogeneous) AI 인프라가 시장의 대세로 떠오른다는 점에서 의미가 있다"고 말했다.
다만, 긍정적으로만 보긴 어렵다는 반론도 나온다. 그록, 세레브라스 등 빅테크가 파트너로 삼은 추론 반도체가 아니면 시장 진입이 어려워질 수 있다는 우려다.
이에 대해 업계는 빅테크와 연합하는 추론 반도체들의 지향점이 국내 NPU들과 다른 점을 고려해야 한다고 반박한다. 그록과 세레브라스 칩의 특징은 극단적으로 빠른 속도다. 메모리부터 용량이 작지만 대역폭이 넓은 S램을 쓴다. 작은 용량 때문에 발생하는 문제는 돈을 더 내고 칩을 많이 구매해 설치하면 된다는 입장이다.
독자들의 PICK!
그 결과 세레브라스 칩은 추론 연산 속도가 엔비디아 GPU보다 20배 빠른 것으로 전해진다. 이에 빅테크들은 이들과 연합할 때 추론 연산을 '프롬프트 처리(Prefill)'와 '토큰 생성(decode)'으로 단계를 나누고 토큰 생성만 추론 반도체에 넘기는 전략을 취한다.
반면 국내 AI 반도체 기업들의 NPU는 속도보다는 전력 효율성에 집중한다. 메모리도 빠르면서 용량이 큰 HBM(고대역폭메모리)을 사용해데이터센터 사업자 입장에서 필요한 전체 칩 수를 줄여준다. 설비투자비(CAPEX)를 줄여주는 전략이다. 해외 업체들이 연비를 고려하지 않는 값비싼 '슈퍼카'를 만든다면, 국내 업체들은 저렴한 유지비가 강점인 '전기차'를 만드는 셈이다.
퓨리오사AI 관계자는 "미국 추론 반도체들과 지향점이 달라서 크게 위협이라 느끼지 않는다"고 말했다. 실제 최근 스웨덴의 데이터센터는 GPU와 함께 퓨리오사AI의 NPU를 탑재하기로 했다. 유럽 데이터센터들의 전력 효율성 중시 분위기가 반영된 선택이다.
결국 AI 인프라 시장이 '절대적 연산 속도'와 '전력·비용 효율성'이라는 쓰임새에 맞춰 분화할 것이란 전망이 나온다. 초고속 연산이 필요한 영역은 빅테크 연합이, 전력 절감과 운용 효율이 시급한 데이터센터 영역은 국내 NPU 기업들이 공략하는 구도다.
한 딥테크 투자 심사역은 "AI 연산에서 범용성이 높은 GPU와 별개로 특화된 영역이 있는 추론 반도체는 필요하다는 게 입증됐다"며 "다만, 더 빠른 연산 속도냐, 더 저렴한 운영비냐 중에서 어떤 기능이 더 필요한지에 대해선 아직 시장에서 정해진 게 없다"고 말했다.
그러면서 "국내 NPU 기업들의 성과는 전력과 비용 효율성이란 강점이 시장에서 얼마큼의 수요가 있는지가 관건이 될 것"이라고 덧붙였다.
