요즘 AI 빅테크 기업들이 쏟아내는 신모델 발표에 언론도 사용자도 머리가 아플 지경이다. 9월 1일부터 사흘 간격으로 앤스로픽의 클로드 페이블 5.1과 미쏘스 5.1, 메타의 뮤즈 스파크 1.3, 구글 제미나이 3.8 플래시가 나왔고, 오픈AI는 범용AI 시대를 열었다고 주장하며 GPT-6 아스트라를 내놓았다.
자고 일어나면 새 버전이 나오니 이런 판국에 가장 어려움을 겪는 사람은 기업의 정보담당 임원(CIO)일 것이다. 부서마다, 직원 직책과 직무 특성마다 어떤 AI를 사용하도록 지침을 마련하고 통제할지 가늠조차 어렵다.
회사 토큰은 새고 있고, 방화벽이 뚫린다
필자는 AI 기술로 교육 서비스를 하는 에듀테크 기업을 운영한다. 고객들이 가장 궁금해하는 건 "어느 AI, 어떤 모델을 사용해 개발했는지"이고, '사용료'에 관한 조언도 구한다. 개발자들에게 지급한 토큰이 너무 빨리 소진돼 직원들과 충돌이 잦다는 푸념도 듣는다. 주어진 예산 안에서 어떤 AI 모델을 써야 제품 혁신과 사내 업무 생산성을 올릴 수 있을지 머리를 싸맨다.
사실 "어떤 AI 모델이 가장 좋은가"라는 물음에 답은 당분간 나오지 않는다. 하루가 멀다 하고 새 모델이 나오는 판에 성능만 보고 투자하면 결재가 끝나자마자 기술이 낡아진다. "어떤 모델이 가장 비용 효율적인가"라는 물음도 마찬가지다. AI는 ROI(투자 수익률) 측정 자체가 어렵다. 돈은 나가는데, 그 돈이 회사에 어떤 가치를 만들어냈는지 누구도 자신 있게 말하지 못한다.
그래서 순서는, 회사에서 AI에게 맡길 일이 무엇인지부터 면밀히 정의해야 한다. 고객상담이면 정확도와 응답속도가 중요하고, 문서 위주면 보안과 검색, 프로그래밍이라면 코드 생성 품질과 테스트 통과율, 보고서 작성이라면 사실성과 완성도를 봐야 한다. AI 에이전트는 작업 성공률과 권한 통제가 평가 기준이 된다.
AI 빅테크가 내세우는 벤치마크는 참고자료일 뿐, 성능은 회사의 실제 업무에 붙여보고 확인하는 게 필요하다. 예를 들어, 어떤 모델이 코딩 벤치마크에서 10% 앞섰다고 치자. 실제 개발 업무에 붙여보니 작업 성공률은 95% 수준인데, 비용은 두 배이고 처리 속도까지 늦다면 굳이 갈아탈 이유가 있을까? 벤치마크 점수는 낮아도 업무 정확도가 높고 비용이 절반이면 그 모델이 훨씬 나은 선택일 수 있다.
AI 모델은 부품이다. 회사에 가두지 말자
가격도 마찬가지다. 토큰 당 가격만 비교해선 안 된다. 진짜 비용은 구독료와 API 호출, 클라우드 또는 서버 비용, 보안 솔루션, 개발·운영 인력, 유지보수 비용까지 모두 더한 총소유비용(TCO, 도입부터 운영까지 드는 모든 비용)이다. AI 에이전트는 빈번한 API 호출로 비용이 눈덩이처럼 불 수도 있다.
보안도 중요하다. AI가 어떤 데이터에 접근해 무엇을 실행하는지 체크한다. 에이전트는 이메일을 읽고, ERP에 접근하고, 문서를 작성하고, 엑셀 파일을 수정할 줄 안다. AI 모델이 민감한 고객 정보나 지적재산권을 무단으로 학습하거나 활용하는 것도 문제이고, 그 데이터가 외부로 유출될 위험도 열려 있다.
필자의 경험으로는 '특정 AI 모델에 회사를 종속시키지 말아야' 한다. 애플리케이션을 특정 모델에 단단히 묶어버리면, 나중에 훨씬 좋은 모델이 나와도 갈아타기 어렵다. AI 모델은 언제든 갈아 끼울 수 있는 부품이어야 하고, 기업은 데이터와 업무 프로세스, 보안 체계 같은 진짜 자산에 집중해야 한다.
AI 시대에 CIO의 역할은 달라졌다. 이제 CIO는 시스템 관리 수준을 넘어, 회사의 AI 판을 짜는 설계자여야 한다. 어떤 AI 모델에도 흔들리지 않는 AI 방식 업무 구조를 만드는 능력을 요구한다. 참고로 최근 한국에서도 CIO나 CTO와 별도로 'CAIO(Chief AI Officer)' 직책을 만든 기업이 늘고 있다는 점을 짚어 둔다.
◇김현숙 대표는…
㈜안랩 창립멤버로서 안랩 내 주요 사업 책임을 거쳐 안랩중국법인 대표, 동그라미재단 사업책임자를 끝으로 소셜벤처 ㈜맘이랜서를 설립했다. 엄마를 돕는 소셜협력 네트워크 맘잡고 플랫폼을 바탕으로, 여성 전문인력 교육 및 일하는 엄마 아빠를 위한 일·가정 양립 지원 사업을 펼치고 있다.