부서별 토큰 사용 최적화 지시-개발 현장에선 부족 호소..효율적 AI 관리하는 '토크노믹스' 부상
기업들이 AI(인공지능) 도입에 속도를 내면서 빠르게 불어나는 'AX(인공지능 전환) 청구서'에 고민이 깊어지고 있다. 삼성전자도 최근 일선 부서에 AI 토큰 사용량을 점검하고 최적화 방안을 마련하도록 지시했다. AI로 업무 생산성을 높이는 동시에 비용을 효율적으로 관리하는 '토크노믹스(Tokenomics)'가 새로운 과제로 떠오르고 있다.
18일 전자업계에 따르면 삼성전자(215,500원 ▲5,500 +2.62%)는 최근 일선 부서에 AI 토큰 사용량과 관련한 최적화 방안을 보고하도록 지시했다. 토큰 사용량과 주요 사용 목적 등을 설명하고 향후 효율적인 활용 방안을 마련하도록 한 것으로 전해졌다. AI 활용 확대로 급증한 토큰 사용량을 점검하고 비용 관리를 위한 조치로 풀이된다.
토큰(Token)은 AI가 문장이나 데이터를 처리할 때 사용하는 기본 단위다. 엔터프라이즈 AI(기업용 AI)는 실제 토큰 사용량에 따라 비용이 부과되는 종량제 방식 등이 주로 적용된다. 특히 AI가 단순한 질문에 답하는 수준을 넘어 스스로 여러 작업을 수행하는 AI 에이전트로 발전하면서 토큰 사용량도 크게 늘고 있다. 복잡한 소프트웨어 개발 작업에서는 AI가 코드를 작성하고 오류를 수정하는 과정을 반복하면서 대량의 토큰을 소모한다. 개발자들 사이에서 '토큰이 녹는다'는 표현이 나올 정도다.
삼성전자는 일하는 방식을 AI 중심으로 바꾸는 AX를 본격 추진하고 있다. 지난 6월부터 DX(디바이스경험)부문 임직원들이 사내에서 챗GPT(ChatGPT), 제미나이(Gemini), 클로드(Claude) 등 외부 생성형 AI를 활용할 수 있도록 했다. 임원 평가에도 AX 성과를 주요 평가 항목으로 반영했다.
AI 활용은 실제 업무 효율 향상으로 이어지고 있다. 삼성전자는 AI와 HPC(고성능컴퓨터) 등을 활용해 기존 15일이 걸리던 TV 낙하 검증 기간을 2일로, 세탁기 낙하 검증 기간을 15일에서 5일로 단축했다. 일부 반도체 설계 작업에 걸리는 시간도 절반으로 줄였다. 반복적인 업무를 자동화해 임직원들이 보다 복잡한 연구개발과 의사결정에 집중할 수 있다는 점도 AI 활용의 장점이다.
다만 AI 활용이 늘어나면서 비용 관리의 중요성도 커지고 있다. 삼성전자는 AI 도입 과정에서 직원들을 4개 티어(Tier)로 나누고 등급에 따라 사용할 수 있는 AI 토큰량에 차등을 둔 것으로 전해졌다. 일반 직원은 주로 1~2티어, 개발직은 기본적으로 3티어가 적용됐다. 최고 등급인 4티어 직원에게는 월 500달러가량의 토큰 사용 한도가 부여되는 것으로 알려졌다.
SK(456,500원 ▲19,500 +4.46%)와 현대차(312,000원 ▲16,500 +5.58%), LG(103,200원 ▲500 +0.49%) 등 국내 대기업들도 생성형 AI 도입했거나 도입을 검토 중이다. 오픈AI코리아에 따르면 지난 8월 말 기준 국내 기업·기관의 챗GPT 엔터프라이즈 도입 규모는 사용자 수 기준으로 지난해 같은 기간 대비 약 28배 확대됐다.
"연간 토큰 상반기에 다 썼다"..기업들 AI 비용 부담 '비상'
문제는 예상보다 빠르게 늘어나는 비용이다. 한 대기업 고위 관계자는 "AI를 본격적으로 도입하면서 업무 효율은 높아지고 있지만 관련 비용도 상당한 부담이 되고 있다"며 "연초 예상한 연간 토큰 사용량을 상반기에 이미 대부분 소진했다"고 전했다.
독자들의 PICK
지금 3,840명 읽는 중
일선 개발 부서에서는 할당된 토큰이 부족하다는 목소리도 나온다. 한 대기업 개발직군 직원은 "AI 활용이 늘면서 월말이면 할당된 토큰을 모두 소진해 관련 작업을 사실상 중단하는 경우도 있다"며 "토큰을 지나치게 많이 사용하면 사용 이유를 설명해야 할 때도 있다"고 말했다.
실제 기업들의 AI 비용 부담은 눈덩이처럼 불어나고 있다. 미국 기업의 AI 도입과 지출을 추적하는 램프(Ramp) AI 인덱스에 따르면 지난 5월 기준 조사 대상 상위 10% 기업이 쓰는 직원 1인당 월평균 AI 비용은 약 611달러(약 81만원)로 1년 전보다 3.3배 증가했다. 직원 1000명의 기업이라면 연간 AI 비용만 약 100억원에 이르는 셈이다.
상위 1% 기업의 직원 1인당 월 AI 지출액은 7450달러(약 1000만원)에 달했다. 기업들이 저렴한 중국 AI를 채택하는 경우도 있지만 이미 사용량 증가가 비용 절감 효과를 앞지르는 상황이다. 또 한 가지 AI가 아니라 여러 AI를 동시에 사용하는 것도 비용 부담을 키우는 요인이다.
이에 AI 토큰의 사용량과 비용, 생산성 효과를 종합적으로 관리하는 '토크노믹스'의 중요성이 부각되고 있다. 업무에 필요한 성능에 맞춰 AI 모델을 선택하고 불필요한 토큰 사용을 줄이는 등 비용 대비 효율을 극대화하는 작업을 기업들이 진행 중이다. 같은 비용으로 얼마나 높은 생산성을 확보하느냐가 기업의 새로운 경쟁력이 되고 있는 셈이다.
업계 관계자는 "직원들이 외부 생성형 AI 사용에 익숙해지고 토큰 절약 방법도 알려지면서 도입 초기보다 효율적으로 AI를 활용하고 있다"며 "다만 AI 활용 범위와 절대적인 사용량이 계속 늘어나면서 토큰 관련 비용 부담은 커지고 있다"고 말했다.
