중국 AI(인공지능) 업계가 중국산 AI칩과 엔비디아 AI칩을 섞어쓰는 이른바 '이종 컴퓨팅' 기술 개발에 속도를 낸다. 고난도 작업엔 중국산 AI칩 성능이 여전히 엔비디아 AI칩에 뒤처지기 때문이란게 업계 전언이다.
20일 사우스차이나모닝포스트(SCMP)에 따르면 중국 내에서 엔비디아의 H200 칩 월 임대료는 지난해 3분기 말 5만~8만 위안 수준에서 올해 10만 위안을 넘어선 것으로 파악됐다. AI가 단순 질의응답을 넘어 실제 업무를 수행하는 에이전트 형태로 발전하면서 추론용 컴퓨팅 수요가 급증한 영향이다. 중국 국가데이터국에 따르면 중국의 하루 평균 AI 토큰(AI 모델이 정보를 처리하고 생성하는 기본 단위) 호출량은 지난 3월 140조 개를 넘어섰다.
중국산 AI칩의 생산과 적용이 확대되고 있음에도 고성능 추론 영역에서는 엔비디아 AI칩에 대한 수요가 여전히 강하다는 증거다. 중국 추론 최적화 스타트업 어프로칭AI의 관자웨이 부사장은 "고품질 토큰에 대한 수요가 공급을 크게 웃돌고 있다"며 "중국산 칩만으로 추론을 처리하면 성능 요구와 수익성이 낮은 영역에 머무를 수밖에 없어 고품질 토큰은 여전히 엔비디아에 의존하고 있다"고 말했다.
학습을 마친 AI 모델이 이용자 요청에 답변하는 추론 단계에선 상대적으로 중국산 AI칩을 적용하기 수월하다. 다만 코딩처럼 복잡한 추론 작업의 경우 중국산 AI 칩이 여전히 엔비디아 제품과 동일한 수준의 성능을 안정적으로 제공하지 못한다는게 중국 AI업계 시각이다. 앞으로도 이 같은 구조가 유지될 경우 중국이 추론용으로 필요한 고성능 칩 수요는 올해 약 30만개에서 2030년 최대 3억개까지 폭증할 수 있단 우려도 나온다.
이에 업계는 중국산 AI칩과 엔비디아 칩을 함께 사용하는 이종 컴퓨팅 기술 개발에 속도를 내고 있다. 문샷AI가 대표적 사례다. 문샷AI는 서로 다른 칩 사이에서 데이터를 빠르게 주고받을 수 있는 데이터 전송 라이브러리를 개발했다. 이를 활용하면 엔비디아 H20과 화웨이 어센드 910B가 동일한 AI 추론 작업에 동시에 투입될 수 있다.
어프로칭AI도 이와 유사한 기술을 활용하고 있다. 이용자의 질문을 처음 처리하는 단계는 화웨이 어센드 910B가 맡고 실제 답변 생성은 엔비디아 H20이 담당하는 방식이다. 자체 개발한 소프트웨어가 두 종류의 칩 사이에서 중간 데이터를 전달한다. 이를 통해 중국내에서 확보하기 쉬운 중국산 AI칩에 일부 연산을 맡기고 공급이 제한적인 엔비디아 AI칩은 성능이 중요한 구간에 집중적으로 사용할 수 있다.
관 부사장은 현재와 같은 방식으로는 2030년 필요한 고성능 칩이 최대 3억개에 달할 수 있다며 "이는 명백히 현실적이지 않다"고 말했다. 이어 급증하는 추론 수요를 감당하려면 기존과 다른 방식으로 컴퓨팅 자원을 활용해야 한다고 강조했다.
