이달 찾은 실리콘밸리에서 처음 나를 놀라게 한 건 운전석이 빈 웨이모의 로보택시였다. 샌프란시스코의 교통체증과 서로 밀고 들어오는 사거리의 차들 앞에서 웨이모는 다소 움츠러들었고 15분 거리를 한 시간이나 걸려 도착했다. 그런데 그 한 시간 동안 누구도 운전대를 잡지 않았다는 사실이 더 놀라웠다. 운전대에 손을 대지 않아도 스스로 달리는 테슬라의 FSD(Full Self-Driving)도 마찬가지였다. 도로 위 풍경은 미래 그 자체였다.
그러나 정작 더 의외였던 것은 샌프란시스코와 산타클라라를 잇는 101번 고속도로의 입간판이었다. 경부고속도로의 입간판이 세계로 뻗어 가는 라면 같은 K-푸드 광고로 채워져 있다면 이곳의 입간판은 큼지막한 글씨로 '추론(inference)'을 외치고 있었다. 이미 만들어진 AI를 돌리는 일, 곧 추론과 그 인프라의 광고였다. 행사장에 도착하기도 전에 나는 지금 실리콘밸리에서 가장 뜨거운 단어가 무엇인지 알 수 있었다.
실리콘밸리는 미래 기술의 발원지다. 이곳의 발표는 세상을 놀라게 하고 그 놀라움은 이내 산업이 되어 세계로 흘러간다. 그 무렵 가장 큰 화제는 테슬라의 신형 로드스터 시연이었다. 공중으로 솟구쳤다 내려앉는 자동차는 'AI로 합성한 영상 아니냐'는 반응이 나올 정도였다. 그러나 양산 목표는 2028년이다. 머스크의 시간표를 믿더라도 올해나 내년에 도로에서 만나기는 어렵다.
미래 기술에 대한 설렘을 느끼다 문득 '추론'도 한때는 먼 미래의 수요처럼 여겨졌다는 사실을 깨달았다. 불과 2년 만에 추론의 발전과 수요 증가는 미래가 아닌 현실로 와 있었다. 질문 하나에 답 하나를 내놓던 챗봇은 어느새 익숙한 풍경이 됐고, 이제는 여러 단계의 추론을 연달아 실행하는 에이전트AI의 시대다.
물론 회의론도 적지 않다. 빅테크가 천문학적 설비투자를 발표할 때마다, 앤트로픽이나 오픈AI가 가파른 매출 성장과 함께 더 커진 손실을 공개할 때마다 "정말 이것을 쓸 고객이 있느냐" "그래서 언제 돈을 버느냐"는 질문이 따라붙는다. 하지만 테크기업들은 세상을 단순히 놀라게 하려고 기술을 개발하지 않는다. 그 기술이 필요한 시장이 다가왔다는 확신이 있기에 나아간다. 101번 고속도로의 '추론'은 시장과 기술이 이미 만났음을 알려주는 신호 같았다.
시장의 크기는 토큰(token)으로 가늠할 수 있다. 토큰은 AI가 글과 코드를 처리하는 최소 단위다. 구글이 한 달에 처리하는 토큰은 2024년 9조7000억 개에서 올해 5월 3200조 개로 2년 만에 330배가 됐다. 1년 동안 1조 개 이상의 토큰을 쓴 구글 클라우드 고객도 150여 곳에서 약 500곳으로 늘었다. 기업들이 AI를 실제 업무에 투입하고 있다는 뜻이다. 토큰을 만드는 공장인 AI 데이터센터는 이제 가장 시급한 인프라다.
AI는 세상을 삼킬 수도, 소박한 생산성 도구에 그칠 수도 있다. 어느 쪽이든 AI 인프라 위에서 돌아가야 한다는 사실은 변함없다. 경부고속도로를 달릴 때는 추론의 시대가 아직 멀게 느껴질지 모른다. 그러나 그 시대는 이미 우리 곁에 와 있다. 대한민국이 선택과 집중을 해야 할 지점이 여기다. AI 반도체와 인프라를 함께 갖출 수 있는 몇 안 되는 나라인 만큼 꾸준한 투자가 곧 산업 경쟁력이 된다.
공공부문에서도 국산 AI 반도체(NPU)와 함께 이 기회를 살리려는 움직임이 하나둘 보인다. 작은 현장에서부터 국산 NPU가 쓰이고 검증되는 경험이 쌓여야 더 큰 무대에서도 통할 수 있다.
올여름 월드컵은 아쉽게 끝났지만 4년 전 카타르에서 대표팀이 펼쳐 든 태극기의 문구는 여전히 유효하다. '중요한 건 꺾이지 않는 마음'. 추론 수요는 꺾이지 않는다. 그 수요를 감당할 AI 인프라와 AI 반도체 투자도 꺾이면 안 된다. 축구의 꿈이 16강이었다면, AI에서 우리가 바라볼 자리는 3강,또는 그 이상이다.
