[이 기사에 나온 스타트업에 대한 보다 다양한 기업정보는 유니콘팩토리 빅데이터 플랫폼 '데이터랩'에서 볼 수 있습니다.]
온디바이스 AI(인공지능) 솔루션 기업 옵트에이아이가 오픈소스 경량 언어모델 '옵트기어(Opt.Gear)'를 공개했다고 6일 밝혔다.
온디바이스 AI는 서버를 거치지 않고 기기에서 직접 연산을 처리하는 방식이다. 응답이 빠르고 데이터가 외부로 나가지 않지만, 메모리와 전력이 제한돼 모델 크기를 줄이는 기술이 관건으로 꼽힌다.
옵트에이아이가 자체 설계한 첫 파운데이션 모델 옵트기어는 스마트폰과 노트북은 물론 마이크로컨트롤러(MCU)에서도 언어모델을 실행할 수 있도록 설계한 점이 특징이다. 매개변수 10억개(1B)와 2억7000만개(270M), 100만개(1M) 등 세 가지로 구성됐다.
관련 기술 리포트는 논문 사전공개 사이트 아카이브(arXiv)에 등재됐다. 옵트에이아이 관계자는 "서버용 거대 언어모델을 단순히 줄인 것은 아니다"며 "SRAM과 메모리 대역폭, 전력, 지연 시간이 모두 제한된 기기 환경을 전제로 구조부터 다시 짰다"고 했다.
핵심은 자체 개발한 '콘브KV 게이티드 믹서(ConvKV-Gated Mixer)' 구조다. 기존 언어모델은 문맥이 길어질수록 키-값 캐시(KV 캐시)가 비례해 커지면서 메모리 접근이 병목으로 작용한다.
옵트기어는 다수의 지역 어텐션 계층을 합성곱 연산으로 대체해 문맥 길이와 무관하게 고정 크기 상태만 유지하도록 했다. 회사에 따르면 6만4000토큰 문맥에서 지역 계층이 유지하는 상태는 3개 위치에 그친다.
이식성도 높였다. 소프트맥스와 행렬곱 같은 동적 연산 없이 정적 연산만 사용해 CPU(중앙처리장치)와 GPU(그래픽처리장치), NPU(신경망처리장치) 어디에나 적용하기 쉽다는 설명이다.
속도는 스마트폰용 칩에서 측정했다. 갤럭시 S26 퀄컴 스냅드래곤 8 엘리트 Gen5의 NPU에서 입력 토큰 처리 속도는 초당 7042토큰으로 알리바바 '큐원 3-1.7B'의 2.9배였다. 애플 아이폰 17 프로에서는 토큰 생성 속도가 LG '엑사원 4.0-1.2B'의 4.9배로 나타났다.
성능 평가에서도 동급 모델을 앞섰다. 지식 평가(MMLU) 43.2점, 한국 문화·상식 평가(HAERAE) 44.2점으로 구글 '젬마 3-1B'(39.8점, 35.3점)와 엑사원 4.0-1.2B(37.2점, 30.2점)를 웃돌았다.
학습 효율도 높았다. 사전학습에 쓴 토큰은 0.5조개로 경쟁 모델의 4분의 1 이하 수준이며, 대형 모델의 출력을 베끼는 증류 기법도 쓰지 않았다고 강조했다.
옵트에이아이 관계자는 "이번 공개에는 가중치와 배포 파일이 함께 포함됐다"며 "개별 기업이 목적에 맞게 온디바이스 AI를 도입할 수 있어 가전과 모빌리티, 국방 등 실시간성과 보안이 중요한 분야에서 활용할 수 있다"고 했다.
[머니투데이 스타트업 미디어 플랫폼 '유니콘팩토리']