1637년 프랑스 수학자 피에르 드 페르마는 책 귀퉁이에 메모를 남겼다. 놀라운 증명을 발견했지만 "여백이 부족해 적지 못한다"는 내용이었다. 그 여백을 채우는 데 인류는 358년이 걸렸다. 영국 수학자 앤드루 와일스가 1995년 129쪽짜리 증명을 내놓으면서 '페르마의 마지막 정리'는 풀렸다.
31년이 지난 지금 AI가 이 문제 앞에 다시 섰다. 사람이 쓴 129쪽 증명에 논리적 빈틈이 없는지 컴퓨터가 한 줄씩 확인할 수 있게 다시 쓰는 '검산'이었다. 앤트로픽은 4일(현지시간) 자사 AI 클로드가 이 작업을 11일 만에 끝냈다고 밝혔다. 수십개의 AI 에이전트가 증명 검사 프로그램 '린(Lean)' 코드 1300만줄을 쓰고 중간 정리 3만300개를 증명했다. 최종 증명에는 이 중 2만9500개가 쓰였다.
수학 논문에는 생략이 많다. 수학자끼리는 "앞의 정리를 쓰면 다음 결과가 나온다"고 몇 줄만 적어도 통한다. 컴퓨터는 다르다. 한 단계라도 빠지면 "왜?"라고 묻는다. 린은 수학의 기본 규칙에서 출발해 첫 단계부터 결론까지 논리가 이어지는지 검사한다. 사람의 논문을 린의 언어로 옮기는 '형식화'는 "자명하다"고 넘긴 대목까지 전부 써줘야 해 손이 많이 간다. 영국 임페리얼칼리지런던 케빈 버저드 교수팀이 2024년 착수했을 때 여러 해가 걸릴 것으로 봤던 이유다.
앤트로픽은 AI 여러 개를 연구팀처럼 굴렸다. 큰 증명을 작은 문제로 쪼개 나눠 맡기고, 한 AI가 증명한 정리를 다른 AI가 가져다 더 어려운 문제를 푸는 식이다. 마지막 판정은 AI가 아니라 린이 했다. AI가 답안지를 세세하게 다시 쓰고, 규칙만 따지는 컴퓨터가 채점한 것이다. 버저드 교수는 현대 수학 문헌의 자동 형식화에 "큰 진전"이라고 평가했다.
수학에서 검증은 생각보다 어렵다. 와일스도 1993년 첫 증명을 공개했다가 검증 중 결정적 빈틈이 드러나 1년을 더 고쳐 1995년에야 최종본을 냈다. 토머스 헤일스의 '케플러 추측' 증명은 심사위원 12명이 4년을 봐도 완벽히 확인하기 어렵다고 판단해, 헤일스가 20명을 모아 컴퓨터로 확인 가능한 증명을 다시 만들었다. AI 여러 대가 밤낮없이 증명을 쏟아내면 만드는 속도가 사람이 읽고 검증하는 속도를 앞지른다. 그때 필요한 게 'AI가 낸 답을 믿어도 되는가'를 가리는 장치다.
역할이 나뉘고 있다. 사람은 어떤 문제가 중요한지 고르고 방향을 정한다. AI는 중간 계산과 증명을 빠르게 처리한다. 린 같은 프로그램은 그 결과가 틀리지 않았는지 처음부터 다시 확인한다. 한계도 있다. 클로드가 새 방식으로 정리를 푼 게 아니라 수백년 쌓인 이론과 기존 증명 위에서 한 일이다. 연구진도 사람이 이해하는 논문을 컴퓨터 증명이 대체해선 안 된다고 강조한다.
11일이라는 숫자는 의미가 있다. 사람이 답을 찾는 데 358년, 그 답을 컴퓨터가 확인하게 바꾸는 데 몇 년이 걸릴 것으로 봤는데 예상을 깬 것이다. 사람이 발견하고 사람이 검증하던 과학에서, 사람이 발견한 것을 AI가 정리하고 컴퓨터가 끝까지 확인하는 과학으로 바뀌고 있다는 평가다.