천천히 일상으로 스며드는 로컬 LLM…'1인 1개인비서' 시대 앞당길 초소형 슈퍼컴 '포켓랩'
"요즘 무슨 AI 써?"
이제는 흔히 들을 수 있는 대화 주제다. AI(인공지능)가 첨단을 넘어 일상이 됐음을 보여주는 말이기도 하다. 보통 챗GPT·제미나이·클로드를 비교하는데, AI(인공지능) 좀 다룰 줄 안다 하는 사람들은 공개형 LLM(대형언어처리모델)들을 조합해 맞춤형 개인 비서를 만드는 데 열심이다. 공개형 LLM을 구동할 장비를 들인 다음 학습만 잘 시키면 유능한 경력직 부하를 마음대로 부리는 정도의 성능을 낼 수 있다고 한다. 인터넷 없이 LLM을 쓸 수 있어 개인정보 유출을 걱정을 덜어도 된다.
다만 두 가지 주의점이 있다. 하나는 장비값이 만만치 않다는 것이고 다른 하나는 전기료 폭탄을 맞을 수 있다는 것. 2024년 출시된 애플의 맥 미니 M4가 두 마리 토끼를 한 번에 잡을 제품으로 주목받았으나 문서 요약, 엑셀 작성 수준의 성능을 구현하려면 적게는 150만원, 챗GPT, 제미나이 유료 모델이 제공하는 개인비서 수준의 성능을 구현하려면 250만원 이상 수준의 모델을 구매해야 한다. 전문 분야 자료를 학습시켜 AI 자문을 구하고 싶은 고급 사용자들은 최소 300만원 이상 모델을 구입해야 한다. 이마저도 물량이 모자라 구하기가 쉽지 않다.
지난 1월 미국 라스베이거스 소비자가전쇼(CES)에서 최초 공개된 스타트업 타이니AI(Tiiny AI)의 휴대용 슈퍼컴퓨터 포켓랩은 성능 대비 가격을 대폭 낮춰 틈새시장을 노린 제품이다. 이 기기에는 80기가바이트의 RAM(임의기억장치)과 1테라바이트의 SSD(저장공간)가 탑재됐다. 포켓랩은 정가 1999달러(300만원)인데 현재 할인가로 1599달러(240만원)에 판매 중이다. 애플의 M4에 64기가바이트 RAM, 1테라바이트 SSD를 탑재하면 우리돈 400만원을 넘긴다.
포켓랩은 매개변수 1200억개 규모 LLM을 구동할 수 있다. 매개변수 1200억개면 전문 분야 지식을 자문할 수 있을 정도의 성능이다. 전문 분야 검토, 자문을 원하는 고급 사용자들의 기기 구매 부담을 한층 낮췄다.
기술 전문 매체 마셔블은 지난 1월 CES에서 포켓랩을 직접 구동해봤다면서 "대중 사이에 인기가 많은 클라우드 AI 서비스보다 콘텐츠 생선 속도가 비슷하거나 더 빨랐다"며 "하루 종일 작동시켰는데도 전혀 뜨거워지지 않아 놀랐다"고 했다.
이는 저전력 고효율 기술 때문이다. LLM 중 사용자 질문에 대답하는 데 필요한 부분만 활성화시키는 터보스파스 기술과 연산 부하를 체계적으로 분배하는 파워인퍼 기술 덕분에 소비 전력을 일반 노트북 수준인 30와트까지 낮출수 있었다. 이 덕분에 전기 콘센트가 없어도 정격 출력 65와트짜리 고출력 보조배터리만 있으면 LLM을 로컬로 구동할 수 있다. 포켓랩은 일반 스마트폰 3개를 겹쳐놓은 정도의 크기에 무게가 300g밖에 되지 않아 휴대도 간편하다.
타이니AI는 현재 크라우드 펀딩으로 모은 자금을 기반으로 영업 중인데, 지난 11일 모금 개시 5시간 만에 100만달러(15억원)를 모금했다고 한다. 로컬 LLM 수요와 타이니AI의 성장 가능성을 가늠해볼 수 있는 대목이다. 타이니AI는 메사추세츠 공과대학(MIT), 스탠퍼드, 상해교통대 등 명문대학과 인텔, 메타 등 빅테크 출신 엔지니어들이 효율적인 AI 연산을 구현해보자는 목표 아래 2024년 시작했다. 그 밖엔 알려진 바가 거의 없다. 지난 11일 크라우드 펀딩을 받은 것을 제외하면 외부 투자를 받은 기록은 없다.
