AI(인공지능) 좀 다룰 줄 안다고 하는 사람들은 '챗GPT' '제미나이'를 쓰는데 만족하지 않고 공개형 LLM(거대언어모델)들을 조합해 맞춤형 개인비서를 만든다. 공개형 LLM을 구동할 장비를 들인 다음 학습만 잘 이뤄지면 유능한 경력직 부하를 마음대로 부리는 정도의 성능을 낼 수 있다고 한다. 인터넷 없이 쓸 수 있어 개인정보 유출 걱정도 덜 수 있다.
다만 2가지 주의점이 있다. 하나는 장비가격이 만만치 않다는 점이고 다른 하나는 전기료 폭탄을 맞을 수 있다는 점이다. 2024년 출시된 애플의 '맥미니 M4'가 두 마리 토끼를 한 번에 잡을 제품으로 주목받았으나 문서요약, 엑셀작성 수준의 성능을 구현하려면 적게는 150만원, 챗GPT나 제미나이 유료모델이 제공하는 개인비서 수준의 성능을 구현하려면 250만원 이상 수준의 모델을 구매해야 한다. 전문분야 자료를 학습해 AI의 자문을 받고 싶은 고급 사용자들은 최소 300만원 이상 모델을 구입해야 한다.
지난 1월 미국 라스베이거스에서 열린 세계 최대 IT(정보기술)·가전전시회 CES에선 가성비를 앞세워 틈새시장을 노린 스타트업 타이니AI(Tiiny AI)의 휴대용 슈퍼컴퓨터 '포켓랩'이 공개됐다. 이 기기엔 80기가바이트의 RAM(임의기억장치)과 1테라바이트의 SSD(저장공간)가 탑재됐다. 포켓랩은 정가가 1999달러(약 300만원)인데 현재 1599달러(약 240만원) 할인가에 판매한다. 동일한 조건의 애플 M4보다 100만원 이상 저렴하다.
포켓랩은 매개변수 1200억개 규모의 LLM을 구동할 수 있다. 전문분야 지식을 자문할 정도의 성능이다. 기술 전문매체 매셔블은 CES에서 포켓랩을 직접 구동해봤다면서 "대중에게 인기가 많은 클라우드 AI서비스보다 콘텐츠 생산속도가 비슷하거나 빨랐다"며 "하루종일 작동해도 뜨거워지지 않아 놀랐다"고 했다.
포켓랩은 LLM 중 사용자의 질문에 대답하는데 필요한 부분만 활성화하는 터보스파스 기술과 연산부하를 체계적으로 분배하는 파워인퍼 기술 덕분에 소비전력을 일반 노트북 수준인 30와트까지 낮출 수 있었다. 스마트폰 3대를 겹쳐놓은 정도의 크기에 무게가 300g으로 휴대성도 높였다. 타이니AI는 크라우드펀딩으로 모은 자금을 기반으로 영업하는데 지난 11일 모금을 시작한 지 5시간 만에 100만달러(약 15억원)를 기록했다.