"비싼 AI가 꼭 좋진 않더라"…기업에 딱 맞는 AI 찾아주는 이곳

[이 기사에 나온 스타트업에 대한 보다 다양한 기업정보는 유니콘팩토리 빅데이터 플랫폼 ‘데이터랩’에서 볼 수 있습니다.]

"AI(인공지능) 모델을 고를 때 실무자에게 중요한 건 코딩 점수 같은 벤치마크가 아니라 우리 서비스 이용자에게 실제로 어떤 효과를 냈느냐입니다. 앱토는 가격 대비 효율이 가장 좋은 모델을 실제 이용자 반응으로 검증해주는 서비스입니다."

강동혁 앱토 대표는 자신들이 풀고 있는 문제를 이렇게 설명했다. AI 시장에는 매주 새로운 모델이 쏟아진다. 하지만 성능이 높다는 평가를 받는 모델일수록 비용도 비싸다. AI로 서비스를 만드는 기업 입장에서는 더 비싼 모델을 도입했을 때 자사 매출과 이용자 경험에 얼마나 도움이 되는지 판단하기 어렵다.

강 대표는 고려대 컴퓨터학과 재학 중 과학기술정보통신부와 정보통신기획평가원(IITP)이 운영하는 AI·SW마에스트로 17기에서 뜻이 맞는 동료들과 창업팀을 꾸렸다. 이들이 서비스를 개발하며 반복적으로 마주친 문제는 '어떤 AI 모델을 선택할 것인가'였다.

강 대표는 "여러 개념증명(PoC)을 진행하면서 서비스를 만들 때마다 같은 고민에 부딪혔다"며 "모델 회사가 제시하는 벤치마크 점수만으로 선택하는 것이 맞는지 의문이 들었다"고 말했다.

문제는 비용이었다. 처음에는 성능이 가장 좋다는 모델을 적용했지만 이용자가 늘자 API 비용도 함께 불어났다. 그렇다고 더 저렴한 모델로 교체하자니 서비스 품질이 떨어져 이용자가 떠날까 우려됐다.

그는 "서비스 운영자가 정말 알고 싶은 건 모델의 코딩이나 수학 성능이 아니라 그 모델이 자사 서비스의 결제와 재방문에 어떤 영향을 미쳤는지"라며 "기존에는 모델 비용과 서비스 지표를 각각 다른 도구에서 확인한 뒤 직접 맞춰봐야 했다"고 설명했다.

앱토는 원래 팀 내부에서 쓰려고 만든 도구였다. 이후 AI 서비스를 운영하는 여러 개발팀을 만나면서 비슷한 문제를 겪고 있다는 사실을 확인했고, 이를 정식 서비스로 발전시켰다.

공동창업자들도 같은 경험을 했다. 임재형 공동창업자는 "AI 서비스를 많이 만들어봤지만 어떤 모델이 가장 적합한지 명확히 판단하기 어려웠다"며 "광고·마케팅 분야의 A/B 테스트 개념을 AI 모델 선택에 적용해보면 어떨까 생각했다"고 말했다.

김지환 공동창업자는 "새로운 모델이 나올 때마다 최고 성능이라는 평가가 나오지만 실제 서비스에서는 예상과 다른 결과가 나타나는 경우가 많았다"고 말했다.

앱토의 핵심은 'AI A/B 테스트'다. 앱토 고객사의 서비스를 쓰는 최종 이용자를 여러 집단으로 나눠 서로 다른 AI 모델이나 프롬프트를 적용한 뒤, 집단별로 해당 서비스의 결제 전환율과 재방문율, 체류시간을 비교한다. 여기에 각 모델의 AI 추론 비용까지 함께 분석해 비용 대비 효과를 측정한다.

예컨대 AI 이력서 첨삭 서비스라면 첨삭을 A 모델로 받은 이용자 집단과 B 모델로 받은 집단 가운데 어느 쪽이 이력서 서비스의 유료 플랜을 더 많이 결제하고 더 자주 다시 접속하는지를 비교하는 식이다.

새로운 모델이 나와도 전체 이용자에게 곧바로 적용하지 않는다. 우선 이용자의 10% 정도에게만 새 모델이나 새 프롬프트를 적용해 기존 모델과 성과를 비교하고, 결과가 더 좋은 쪽을 점차 더 많은 이용자에게 노출한다. 강 대표는 "더 싼 모델로 바꿨는데 성과가 유지되면 갈아탈 이유가 되고 성과가 떨어지면 기존 모델을 지킬 이유가 된다"며 "우리는 그러한 판단의 근거를 제시해주는 역할을 한다"고 말했다.

정확도를 높이기 위한 통계 기법도 적용했다. 고객사가 지정한 기준에 따라 기존 이용 경험이 비슷한 이용자끼리 비교군을 구성하고, 표본이 충분하지 않으면 실험 기간을 늘리도록 안내한다.

최적 모델을 한 번 찾고 나면 서비스를 더 쓸 이유가 없지 않느냐는 질문에 강 대표는 "앱토는 한 번의 추천으로 끝나는 서비스가 아니라 지속적인 운영 도구를 지향한다"고 답했다. 그는 "모델은 계속 나올 것이고 고객들의 경험도 계속 바뀔 텐데, 그 안에서 최적의 경험을 찾는 일은 지속적이고 유동적"이라고 설명했다.

시장 흐름도 이를 뒷받침한다. 강 대표는 "이번 주에는 제미나이, 지난주에는 클로드, 그 전주에는 GPT가 나오는 식으로 거의 매주 새 모델이 업데이트되고 있다"며 "전체로 보면 한 달에 50개 가까운 모델이 나와 저희가 다 제공하지 못할 정도"라고 말했다.

모델을 자주 바꿔야 하는 만큼 교체 과정은 단순하게 만들었다. 고객사는 앱토의 게이트웨이를 거쳐 AI를 호출하기 때문에 서비스 구조를 그대로 둔 채 모델만 바꿀 수 있다. AI 모델 회사와의 API 계약은 고객사가 직접 하고, 앱토는 중간에서 모델 관리와 전환을 맡는다.

앱토는 LLM(대형 언어 모델)을 넘어 AI 에이전트 성능 비교 솔루션도 준비하고 있다. 금융권처럼 내부망을 쓰는 기업을 위한 솔루션도 준비 중이다. 강 대표는 "서비스를 모두 모듈화해 뒀기 때문에 내부망을 쓰는 고객이 원하면 바로 온프레미스로 띄워 똑같이 쓸 수 있다"고 말했다.

투자는 아직 받지 않았다. 정부 지원을 받는 AI·SW마에스트로 과정 중에는 외부 투자 유치와 법인 설립을 지양하도록 하고 있어서, 현재는 강 대표 명의의 개인사업자로 운영 중이다. 과정이 끝난 뒤 법인 설립과 투자 유치를 검토할 계획이다.

이들의 단기 목표는 AI로 서비스를 만드는 팀이라면 앱토를 당연하게 고려하게 만드는 것이다. 장기적으로는 AI 시장의 중재자를 꿈꾼다. 강 대표는 "AI 시장은 점점 커지고 벤더들도 계속 많은 서비스를 공급하고 있다"며 "소비자와 공급자 사이에서 이를 중재하는 역할로 시장에 확실히 자리매김하겠다"고 밝혔다.

[머니투데이 스타트업 미디어 플랫폼 유니콘팩토리]