인텔이 업계 최초로 NPU(신경망 처리장치) 성능을 표준화된 방식으로 측정한 평가에서 '완전한 NPU 지원을 달성한 유일한 기업'으로 평가를 받았다.
19일 인텔이 공개한 MLPerf 클라이언트 v0.6 벤치마크 결과에 따르면 인텔® 코어™ 울트라(Ultra) 시리즈 2(Intel® Core™ Ultra Series 2) 프로세서는 GPU(그래픽 처리장치)와 NPU 모두에서 일반적인 사람이 읽는 속도보다 훨씬 빠르게 출력 결과를 생성할 수 있는 것으로 평가됐다.
이번 발표는 LLM(거대언어모델)에서 클라이언트 NPU 성능을 측정한 업계 최초이자 표준화된 평가 사례라는 게 인텔의 설명이다. MLPerf 클라이언트 v0.6은 라마(Llama 2 7B) 모델 기반의 4가지 콘텐츠 생성 및 요약 작업을 평가한다.
인텔은 "NPU 응답 속도에서 최고 기록을 달성했다"며 첫 토큰을 생성하는 데 단 1.09초밖에 걸리지 않아 프롬프트 입력 직후 즉시 반응할 수 있다고 설명했다. 또 초당 18.55토큰의 처리 속도를 기록해 실시간 AI(인공지능) 상호작용을 끊김 없이 지원했다고 했다. 인텔은 "GPU 부문에서도 인텔은 경쟁사보다 더 빠르게 첫 토큰을 생성하며, NPU와 GPU를 아우르는 AI 가속 기술 리더십을 다시 한 번 입증했다"고 했다.
MLPerf 클라이언트 v0.6은 인텔, AMD, 마이크로소프트(MS), 엔비디아, 퀄컴 등 ML커먼스(MLCommons) 컨소시엄 소속 기업들이 공동 개발해 GPU 중심 테스트를 넘어 NPU 전용 벤치마킹까지 포함하도록 설계됐다. 인텔 NPU 하드웨어 팀과 OpenVINO™ 소프트웨어 팀 간의 긴밀한 협업을 바탕으로, 인텔 코어 울트라 프로세서는 최종 벤치마크에서 NPU 평가 요구사항을 완전히 충족한 유일한 프로세서로 기록됐다.