[이 기사에 나온 스타트업에 대한 보다 다양한 기업정보는 유니콘팩토리 빅데이터 플랫폼 '데이터랩'에서 볼 수 있습니다.]
AI 모델 경량화·최적화 전문기업 노타가 업스테이지와 함께 참여 중인 정부 독자 AI 파운데이션 모델 프로젝트의 2차 성과물인 '솔라 오픈2(Solar Open 2)' 전용 경량화 모델을 27일 공개했다.
최근 딥시크와 문샷 AI의 키미(Kimi) 시리즈 등 고성능 오픈웨이트 모델이 주목받으면서 AI 경쟁의 기준도 단순 성능을 넘어 실제 업무 활용성과 운영 비용으로 옮겨가고 있다. 노타는 이번 경량화 모델을 통해 대규모 AI 모델의 인프라 부담을 줄여 기업의 AI 전환(AX)을 가속화한다는 계획이다.
솔라 오픈2는 문서 작성과 코딩, 툴 호출, 다단계 추론 등 기업 업무에 활용할 수 있는 에이전트 AI 구현을 목표로 개발된 대규모 언어모델(LLM)이다. 총 2500억개의 매개변수를 갖췄지만 실제 추론 시에는 필요한 150억개만 활성화하는 전문가 혼합(MoE) 구조를 적용해 연산 효율을 높였다.
노타는 솔라 오픈2의 배포 효율을 높이기 위해 데이터 기반 MoE 양자화(PASCAL-MoE), 라우터 인지형 MoE 양자화, 비균일 전역 프루닝 등 자체 최적화 기술을 적용했다. 이를 통해 모델 가중치 메모리를 기존 500.6GB에서 117.8GB로 약 76.5% 줄이는 데 성공했다.
이로써 기존에는 엔비디아 H100 GPU 8장이 필요했던 모델을 H100 GPU 2장만으로도 구동할 수 있게 됐으며, 경량화 이후에도 에이전트 AI의 핵심 기능인 툴 호출 성능을 안정적으로 유지했다고 회사 측은 설명했다.
노타는 이번 기술이 단순히 모델 크기를 줄이는 수준을 넘어 실제 기업 환경에서 대규모 AI를 보다 적은 인프라 비용으로 운영할 수 있도록 지원한다는 점에서 의미가 크다고 강조했다.
김태호 노타 CTO는 "이번 성과는 대규모 MoE 모델을 기업이 실제 도입할 수 있는 수준으로 최적화했다는 데 의미가 있다"며 "기업이 자사 인프라와 예산에 맞춰 에이전트 AI를 도입하고 활용 범위를 확대할 수 있도록 모델 구조와 하드웨어 환경에 최적화된 양자화·경량화 기술을 지속적으로 고도화하겠다"고 말했다.
한편 노타가 공개한 솔라 오픈2 전용 경량화 모델은 글로벌 AI 플랫폼 허깅페이스를 통해 확인할 수 있다.
