강한 중독성과 몰입도로 3대 악마의 게임으로 불리는 '시드 마이어의 문명 6'(이하 문명 6) 앞에서 최정상급 AI들이 속수무책으로 무너졌다. 최장 8시간에 달하는 장기전에서 뒷심이 부족한 모습이었다. 최근 글로벌 AI 기업이 '장기 과제 수행 능력' 강화를 핵심 과제로 꼽는 이유다.
영국 옥스퍼드대 등이 참여한 공동 연구진은 이달초 논문 사전 공개 사이트 '아카이브'(arXiv)에 'CivBench: 문명 6에서 도구를 사용하는 에이전트의 장기 수행 능력을 평가하는 벤치마크'를 공개했다. 주요 AI 모델 4종에 문명 6를 시켜본 결과를 분석하고 벤치마크로 제시한 논문이다.
'문명' 시리즈는 한 나라를 맡아 고대부터 미래까지 발전시키며 다른 나라와 경쟁하는 턴제 전략 게임이다. 한 게임당 300번이 넘는 턴(차례)을 맞아 수천번의 의사결정을 내려야 하고 경제·군사·과학·외교·문화 등 다양한 변수를 고려해야 해 연구 수단으로 뽑혔다. 주요 AI 모델은 △앤트로픽의 '클로드 오퍼스 4.6' △오픈AI의 'GPT-5.4' △구글의 '제미나이 3.1 프로' △문샷 AI의 '키미 K2.5' 총 4종이다.
AI는 내장된 컴퓨터 상대방과의 총 23번의 게임에서 '3승 20패'라는 부진한 성적표를 받았다. 왕자(보통) 난이도 19게임 중 3승을 거뒀고, 한 단계 높은 왕 난이도 4게임에서는 1승도 거두지 못했다. 구체적으로 △오퍼스 4.6 2승 6패 △제미나이 3.1 프로 1승 5패 △GPT-5.4 0승 8패 △키미 K2.5 0승 1패였다. 왕 난이도는 오퍼스 4.6과 GPT-5.4가 각각 두 게임씩 치렀다. 다만 연구진은 "표본 크기가 작아 모델 간 우열을 단정하긴 어렵다"고 밝혔다.
패착은 '상황 점검 태만'이었다. 연구진은 AI에 20턴마다 진행 상황을 확인하라는 가이드라인을 부여했으나, 실제 AI는 30~75턴에 한 번꼴로 상황을 조회했다. 연구진은 "상황 조회가 유용한 후반부에도 모니터링 빈도가 늘지 않았다"며 "일시적인 오류가 아니라 AI 모델이 공통으로 지닌 성향이라는 뜻"이라고 분석했다.
실행력도 아쉬웠다. AI는 '새 도시에 과학 캠퍼스 건설', '두 번째 도시 건설' 등 계획을 세워놓고도 10턴 내 실행하지 않았다. 사전에 세운 계획을 10턴 안에 완수 시 1점, 일부 실행 시 0.5점, 미실행 시 0점을 부여해 100점 만점으로 환산한 '계획 이행 점수'에서 AI는 48.2~65.8점을 획득하는 데 그쳤다. 연구진은 "추론 능력 개선만으로는 장기 작업의 신뢰성·완결성을 확보하기 어렵다"며 "정기 상태 조회를 강제하거나 모니터링 도구에 우선순위를 부여하는 등 보완이 필요하다"고 설명했다.
실제 글로벌 AI 기업도 단발적 답변을 넘어 목표를 끝까지 완수하는 능력을 갖추기 위해 노력 중이다. 김경훈 오픈AI코리아 총괄대표는 지난 9일 자사 최신 모델 'GPT-6 아스트라'를 두고 "일을 끝까지 완수할 수 있느냐에 방점을 두고 개발했다"며 "목표를 끊임없이 인지하고 이전 작업 맥락을 기억하면서 고품질 결과물을 완성하는 능력이 핵심"이라고 설명했다.
독자들의 PICK!
앤트로픽도 올해 초 '클로드 오퍼스 4.6' 발표 당시 신중하게 장기 계획을 수립하고 오랫동안 지속해서 작업하는 모델이라고 설명했다. 엔트로픽은 장기간 작업을 이어갈 수 있도록 이전 맥락을 자동 요약하는 기능도 도입했다. 구글도 지난 5월 제미나이 3.5 플래시를 두고 장기 에이전트 작업에 적합하다고 강조했다.
