현실 공간에서 웹툰을 입체적으로 경험하는 확장현실(XR) 만화 플랫폼이 나왔다. 기기를 착용한 채 3차원 캐릭터와 말풍선을 배치하면 '나만의 만화 공간'을 만들 수 있다.
KAIST(카이스트)는 이안 오클리 전기및전자공학부 교수 연구팀이 인간-컴퓨터 상호작용 전문가, 웹툰 창작자, 독자 등 15명으로 구성된 사용자 연구를 통해 확장현실 환경에서 사용자가 만화를 읽고 직접 제작하는 플랫폼 '코믹스XR'(ComiXR)을 개발했다고 21일 밝혔다.
코믹스XR 플랫폼 사용자는 기존 인쇄 형태의 만화를 XR 환경으로 직접 변환해 체험할 수 있다. XR은 가상현실(VR), 증강현실(AR), 혼합현실(MR)을 아울러 이르는 말이다.
종이 만화책에서 출발한 만화는 스마트폰 등장과 함께 세로 스크롤 방식의 웹툰으로 진화했다. 연구팀은 웹툰의 다음 진화 단계가 XR이라고 봤다. 공간감, 입체 음향, 사용자의 눈동자 움직임을 인식하는 시선 추적 기술 등을 만화에 접목해 사용자의 경험 만족도를 높이는 것이다.
연구팀은 기기를 착용한 코믹스XR 실험 참가자가 방 안에 원하는 3차원 캐릭터와 말풍선, 의성어 등을 자유롭게 배치하도록 했다. 참가자는 단순히 평면 화면을 가상 공간에 띄우는 방식보다, 현실 공간의 깊이감을 적극 활용하는 연출을 훨씬 선호했다. 배경 뒤에 캐릭터를 배치하고 말풍선을 별도의 층으로 분리할 때 몰입감이 높아졌다.
이어 독자의 시선을 추적해 특정 캐릭터를 바라볼 때만 다음 대사가 나타나도록 하는 기능을 추가하자 결말을 미리 알게 되는 '스포일러'를 차단할 수 있어 효과적이라는 평가를 받았다.
아울러 독자의 표정 변화에 따라 특수효과가 나타나고 햅틱(촉각을 통해 정보를 전달하는 기술) 기능으로 등장인물의 심장 박동까지 전달하는 감각적 경험도 추가했다.
연구팀은 이번 연구를 통해 XR 만화를 위한 네 가지 핵심 디자인 개념을 제안했다. △방 안 벽을 갤러리처럼 활용하는 '패널 갤러리' △책상이나 벽 위에 만화를 팝업북처럼 띄우는 '팝업' △야외 공간에 3D 캐릭터와 만화 요소를 배치하는 '어라운드 코믹' △저시력자를 포함한 다양한 독자의 접근성을 높이기 위한 '인클루시브 코믹스'다.
오클리 교수는 "이번 연구는 단순히 만화를 입체적으로 구현한 것이 아니라, 독자의 공간과 시선, 움직임까지 고려해 미래의 만화를 어떻게 설계해야 하는지를 제시한 연구"라며 "XR 기술은 누구나 만화를 더욱 몰입감 있게 경험할 수 있는 새로운 콘텐츠 환경을 만드는 데 중요한 역할을 할 것"이라고 했다.
이번 연구에는 아마르 알타이 카이스트 정보전자연구소 박사후연구원이 제1 저자로 참여했다. 연구 결과는 인간-컴퓨터 상호작용 디자인 분야 최고 권위 국제학술대회 'ACM DIS 2026'에서 발표했다. 코믹스XR 플랫폼은 오픈소스로 공개돼 누구나 활용할 수 있다.