#. 테슬라는 로봇 '옵티머스'용 데이터를 확보하려 직원들에게 모션 캡처 슈트와 가상현실 헤드셋을 착용시켰다. 이들이 움직이는 데이터를 모두 기록해 로봇 움직임을 구현한 것이다. 지난해 하반기부터는 방식을 바꿨다. 직원 근무 현장 곳곳에 카메라를 설치, 작업자들이 로봇에게 물건을 집거나, 티셔츠 접는 법을 가르치는 것을 영상으로 남겨 로봇을 효율적으로 학습시켰다.
돈 되는 AI, 피지컬 AI의 데이터를 쌓기 위한 글로벌 각축전이 벌어진다. 피지컬 AI는 로봇이 주변 환경을 이해하고 상황을 판단하고 다음 행동을 하도록 움직이는 AI 기술이다. 이를테면 로봇이 물건을 쥘 때 너무 세게 쥐어 깨뜨리거나 약하게 쥐어 떨어뜨리지 않도록 데이터로 학습시키는 것이다.
우선 피지컬 AI 데이터 확보 방식이 달라지고 있다. 초기엔 인간에게 바디캠을 붙이는 방식으로 데이터를 쌓고 로봇에 응용해 시행착오를 거쳤다면, 최근에는 디지털 트윈과 시뮬레이션 기술을 이용해 현실의 한계나 안전 위험을 극복한다.
가장 직관적인 수집법은 사람이 직접 몸에 바디캠을 붙여 움직임을 기록하는 방식, 로봇을 조작해 작업 데이터를 수집하는 것이다. 후자는 텔레오퍼레이션(Teleoperation)으로 사람이 로봇을 조작하면 로봇이 실제 환경에서 물체를 보고, 집고, 옮기면서 영상이나 관절 움직임, 위치와 자세 등의 정보를 데이터로 축적한다.
로봇이 스스로 시행착오를 거치며 학습하기도 한다. 강화학습을 적용하면 로봇은 여러 행동을 시도하고 그 결과에 따른 보상을 바탕으로 더 나은 행동 전략을 학습한다.
다만 로봇이 매번 실제로 움직이며 데이터를 확보하거나 시행착오를 겪게 하면 시간과 비용, 안전상 제약이 있다. 따라서 최근 공장이나 물류창고 같은 작업 환경을 가상 공간에 구현하는 디지털 트윈과 시뮬레이션 기술이 활용된다.
유튜브 등 인터넷에 공개된 인간의 행동 영상 데이터와 실제 로봇의 행동 데이터, 시뮬레이션 데이터 등을 함께 활용하는 방식이다. 로봇의 학습 경험을 가상환경에서 만들거나, 사람의 움직임을 로봇이 학습할 수 있는 데이터로 변환해 학습시킨다. 한국에서는 NC AI가 주요 피지컬 AI 과제 수행사로 발탁돼 데이터를 만들고 있다.
국방 분야에서는 현대로템과 협력해 무인 장비와 로봇이 운용될 다양한 상황을 가상환경에서 구현하고 학습·검증할 수 있는 피지컬 AI 통합 시뮬레이터 개발을 추진하고 있다.
LG전자 등과 함께 하는 휴머노이드 국책과제에서는 사람의 움직임을 로봇 학습에 활용하는 기술을 개발하고 있다. NC AI가 축적한 모션 데이터와 애니메이션 제작 기술을 바탕으로 학습 기반 GMT(General Motion Tracking)의 초기 학습 데이터를 구축하고, 사람의 동작을 휴머노이드에 맞게 변환하는 '휴먼-로봇 리타게팅' 파이프라인을 구축한다. 사람과 휴머노이드는 관절 구조와 신체 비율이 달라, 사람의 동작을 로봇이 수행할 수 있는 움직임으로 변환하고 있다.
한편 한국은 AI는 글로벌 3강이 목표지만, 피지컬 AI는 제조업 강점을 바탕으로 1강을 지향한다.