[SEP 2026 - AI 인프라 프런티어 컨퍼런스] 김은주 NIA 지능기술인프라본부장 "추론의 시대"
2027년 GPU(그래픽처리장치)가 좌우하던 '학습의 시대'가 끝나고 '추론의 시대'가 본격화한다는 전망이 나왔다. 이에 따라 비용은 줄이며 효율은 극대화하는 하이브리드형 AI 인프라가 대세로 떠오른다.
김은주 NIA(한국지능정보사회진흥원) 지능기술인프라본부장은 29일 서울 삼성동 코엑스 B홀에서 열린 '2026 AI 인프라 프런티어 컨퍼런스'에서 이같이 밝혔다.
김 본부장은 "올해가 학습과 추론이 교차하는 획기적인 해였다면, 2027년부터는 본격적으로 추론의 시대가 시작된다"고 했다. 글로벌 AI 컴퓨팅 자원의 대부분이 AI 학습보다는 추론에 사용되는 시기가 도래한다는 의미다.
추론 컴퓨팅은 이미 올해 학습 컴퓨팅을 역전했다. 딜로이트는 2026년 글로벌 AI 컴퓨팅 자원의 약 67%가 추론에 사용됐다는 분석 결과를 내놨다. 맥킨지 역시 지난 6월 발표한 보고서에서 AI 인프라의 절반 이상이 추론에 사용됐다고 밝혔다.
김 본부장은 "학습의 시대가 투자의 시대라면, 추론의 시대는 AI로 돈을 벌어야 하는 시대"라며 "전 세계가 비용을 낮추기 위한 노력을 하게 될 것"이라고 말했다. 이에 따라 AI 인프라도 전력을 최소화하는 방향으로 전환할 것이란 전망이다.
해법은 '하이브리드 AI 인프라'라고 김 본부장은 강조했다. △복잡한 질문이나 전체 데이터 거대 학습을 담당하는 하이퍼스케일 데이터센터(DC) △실시간 반응이 중요한 지역 데이터를 처리하는 엣지DC △간단한 업무를 빠르게 처리하는 온디바이스 칩으로 전력을 분산한 모델이다.
냉각 방식도 달라진다. 차가운 공기를 순환시켜 칩을 냉각하던 '공랭'(Air Cooling) 방식에서 고발열 칩에 콜드 플레이트를 부착해 냉각수를 순환하는 방식의 '수랭'(Direct-to-Chip)으로 옮겨간다. 수랭 방식은 해외에서 표준 모델로 자리 잡았지만, 한국은 아직 진입 단계에 있다는 것이 김 본부장의 설명이다. 서버 전체를 탱크에 직접 침전하는 '액침'(Immersion Cooling) 방식은 전 세계적으로 실험 단계다.
김 본부장은 "추론의 시대는 한국에게 기회"라고 말했다. 중앙집중형 거대 AIDC를 바탕으로 온디바이스와 엣지 컴퓨팅센터가 주목받으면서 한국의 기술력으로 AI 인프라 시장에 진입할 길이 열렸다는 것이다.
독자들의 PICK
지금 820명 읽는 중
발표에 따르면 한국의 전략은 '종합 생태계'다. 김 본부장은 "기업 하나가 AI칩부터 서비스까지 풀스택을 운영하는 글로벌빅테크형 체계가 아닌, 각각의 기업이 전문적인 역할을 맡으며 하나의 생태계로 조합하는 게 대한민국의 AI 전략"이라고 말했다.
퓨리오사, 리벨리온 등 반도체 기업이 국산 NPU(신경망처리장치) 개발로 추론에 특화된 칩을 맡고, 냉각 기술 영역에서는 수랭식을 점차 확산하는 동시에 국내 정유사를 중심으로 액침 냉각유 시장을 준비하는 것이다. 이와 함께 권역별 엣지AI(MDC)와 온디바이스AI에도 투자한다.
2030년 이후부터는 '우주 AIDC가 본격화한다. 우주 AIDC는 각각 하나의 엣지 AI 서버 역할을 하는 인공위성 여러 대를 쏴 우주의 저온 환경과 태양열을 활용해 데이터센터를 가동하는 시스템이다. 김 본부장은 "2030년대 AI 데이터센터의 미래는 우주에 있다고 본다"며 "NIA는 한국이 어디까지 와 있고, 어디로 가야 하는지 연구하면서 정책을 만들어 나갈 것"이라고 강조했다.
