[이 기사에 나온 스타트업에 대한 보다 다양한 기업정보는 유니콘팩토리 빅데이터 플랫폼 ‘데이터랩’에서 볼 수 있습니다.]
AI(인공지능) 반도체 스타트업 리벨리온이 21일 SK텔레콤(87,100원 ▼2,100 -2.35%)에서 자사 NPU(신경망처리장치) 활용해 제공하는 AI 서비스를 4가지로 확대했다고 밝혔다.
SKT는 지난해 12월 에이닷 통화요약의 '관계추정 기능' 서비스를 처리하는 데 리벨리온의 NPU '아톰-맥스' 기반 서버를 적용했다. 이후 지난 6월부터 해당 서비스의 '한 줄 요약' 외에 음성합성(스트리밍 TTS), AI 고객센터(AICC), 스팸문자탐지(스캠뱅가드) 등을 연산하는데도 아톰-맥스를 쓰기 시작했다.
현재 에이닷 통화요약을 비롯해 4개 서비스에서 리벨리온 인프라가 감당하는 실시간 AI 트래픽은 하루 약 1400만 건에 달한다. AI 모델이 텍스트를 처리하는 최소 단위인 토큰으로 환산하면 하루 40억개를 넘는다. 글로벌 상용 AI 운영 사례의 토큰 처리량에 견줄 만한 규모라는 설명이다.
리벨리온은 SKT의 NPU 활용 확대가 자사 NPU의 안정성을 입증하는 결과라고 평가했다. 상용 서비스 활용에는 고난도 실시간 서비스를 안정적으로 구동하는 것이 핵심이어서다. 또한 글로벌 표준 AI 개발·배포 환경을 지원해 서비스 중단 도입이 가능했다고 덧붙였다.
SKT 입장에선 리벨리온의 NPU를 GPU(그래픽처리장치)와 함께 적용하면서 전사 컴퓨팅 자원을 효율화하고 있다는 평가다. NPU 카드 수백 장을 묶은 'NPU 팜'을 구성하고 사내 여러 서비스가 동일한 NPU 자원을 공유하는 풀 방식으로 인프라 운영 효율을 높였다.
박병관 SKT 코어플랫폼담당은 "AI 서비스 태스크별 특성에 맞춰 GPU와 NPU를 선별적으로 활용 및 재배치해 전사 AI 자원 활용의 효율성을 높였다"며 "앞으로도 NPU 팜을 확대해 시너지를 높이고 사내외 AI 컴퓨팅 수요에 기민하게 대응할 예정"이라고 말했다.
박성현 리벨리온 대표는 "국민이 매일 쓰는 서비스 4개가 리벨리온 인프라 위에서 안정적으로 돌아가고 있다는 사실은 자사 NPU가 가능성에서 검증된 인프라로 넘어왔다는 의미"라며 "앞으로도 대규모 상용 운영 실적을 바탕으로 국내외 AI 서비스의 저변을 넓혀 나가겠다"고 말했다.
