크래프톤이 사람과 자유롭게 대화하고 상황에 따라 행동을 바꿀 수 있는 차세대 로봇 파운데이션 모델을 내년 초 공개할 계획이다. 로봇의 움직임을 고도화하는 데 집중해 온 기존 피지컬 AI(인공지능)와 달리 사람의 의도를 이해하고 소통하는 '사회적 지능'을 하나의 모델에 구현하겠다는 구상이다.
이강욱 크래프톤 최고AI책임자(CAIO)는 13일 서울 강남구 코엑스에서 열린 '피지컬 AI 얼라이언스 데이'에서 "하나의 모델이 액션(행동)도 생성하고 말도 할 수 있는 파운데이션 모델을 만드는 것이 목표"라며 "내년 초에 저희 모델을 공개할 수 있을 것으로 예상한다"고 밝혔다.
이 CAIO는 로봇의 능력을 신체 지능과 사회적 지능으로 구분했다. 신체 지능이 걷거나 물건을 집는 능력이라면 사회적 지능은 사람의 지시를 이해하고 불분명한 명령을 다시 확인하거나 상황 변화에 맞춰 행동을 수정하는 능력이다.
그는 "현재 피지컬 AI에서는 모두가 X축(신체 지능)만 바라보고 있고 Y축(사회적 지능)을 바라보는 회사나 연구소가 많이 부족하다는 게 현실"이라며 "로봇 파운데이션 모델들이 세상에 많이 나오고 있지만 그중에서 사람과 대화하면서 일을 할 수 있는 모델은 아직 존재하지 않는다"고 지적했다.
이어 "걷는 것과 집는 것만 잘해도 강아지를 산책시키거나 아이들을 학원에서 데려오는 등 굉장히 많은 일이 가능하다"며 "사회적 지능 문제를 풀지 못했기 때문에 아직 로봇이 실생활에서 많이 쓰이지 않고 있다"고 설명했다.
크래프톤은 미국 팔로알토에 설립한 피지컬 AI 로보틱스 연구소 '루도 로보틱스'를 통해 관련 기술을 개발하고 있다. 8월에는 거대언어모델(LLM)과 시각·언어·행동 모델(VLA)을 연결한 로봇 AI 시스템 '루디 01'을 공개했다. 크래프톤은 현재 120명 이상의 AI 연구인력을 확보하고 있으며 게임과 시뮬레이션 데이터를 로봇 AI 학습에 활용하고 있다. GPU(그래픽처리장치)도 1000장 이상 보유하고 있다고 밝혔다.
이날 시연 영상에서는 로봇이 음료수를 가져다주던 중 사람이 다른 음료수를 요청하자 즉시 행동을 수정하는 모습이 소개됐다. 이 CAIO는 "이 영상은 편집이 전혀 없이 실시간으로 찍힌 영상"이라며 "모든 모델이 클라우드가 아닌 로컬에서 동작하는 AI 시스템"이라고 강조했다.
다만 현재 방식은 언어모델과 행동모델을 별도로 연결하기 때문에 한계가 있다. 이 CAIO는 "두 개의 시스템이 완전히 하나로 연결돼 있는 게 아니고 하네스를 통해 약하게 연결돼 있다 보니 문맥을 정확하게 공유하기 어렵다"고 설명했다.
이에 루도 로보틱스는 시각과 음성을 입력받아 말과 행동을 동시에 생성하는 통합 모델을 개발하고 있다. 이 CAIO는 "이런 모델이 나오면 지금처럼 하네스를 통해 사회적 지능을 가진 로봇을 만드는 것보다 훨씬 자연스럽고 능력 있는 로봇 AI를 만들 수 있을 것"이라고 기대했다.