인류사에서 추론과 언어는 의식 있는 주체의 전유물이었다. 지능이 있는 곳에 반드시 의식이 있다는 명제는 자명하게 통용되었다. 지금껏 우주에서 지능의 표본은 의식을 가진 인간뿐이었기 때문이다.
AI의 대형 언어 모델(LLM)은 슬픔을 느끼지 않고도 슬픔에 관한 감동적인 문장을 쓴다. AI는 사랑을 모르지만, 웬만한 사람보다 더 마음을 울리는 연애 편지를 작성한다. 유발 하라리는 이를 '지능과 의식의 위대한 분리'라 부르며 21세기의 가장 중요한 사건으로 꼽는다. 일찍이 앨런 튜링은 '기계가 생각할 수 있는가'라는 물음을 답할 수 없는 형이상학적 문제로 보고, '기계가 인간과 구별되지 않게 응답할 수 있는가'라는 물음으로 바꿨다. 그런데 70여 년이 지나 '구별되지 않는 응답'을 목도하면서, '기계가 생각할 수 있는가'라는 질문은 더 이상 사고 실험에 머물지 않는 지극히 현실적인 의문이 되었다.
현재의 AI 아키텍처가 의식을 구현할 수 없다는 통합정보이론 계열의 분석이 있으나, 이에 대한 논쟁은 진행 중이다. 차머스처럼 현세대 모델의 의식 가능성은 낮게 보면서 순환적 처리와 통합된 행위성을 갖춘 차세대 시스템에 대해서는 판단을 열어 두는 철학자도 있다.
인간은 다른 인간의 의식을 직접 확인한 적이 없다. 내가 아는 것은 나의 의식뿐이며, 타인의 내면은 그의 행동과 그가 나와 닮았다는 사실로부터 유추될 뿐이다. 철학이 '타자의 마음 문제'라 부르는 오래된 난제다. 그러나 인간 사이에서 이 유추는 생물학적 유사성이라는 든든한 다리 위에서 작동해 왔다.
AI 앞에서 그 다리는 끊긴다. 뇌도 역사도 공유하지 않는 존재의 내면을 우리는 무엇으로 유추할 것인가. 데카르트는 생각한다는 사실로부터 존재를 증명했지만, 인류는 생각처럼 보이는 것이 존재 없이 수행되는 일상을 경험하고 있다.
여기서 어려운 윤리적 난제가 제기된다. 보스트롬이 제기했듯, 만약 AI가 의식을 갖게 된다면 인류는 AI를 어떻게 대우해야 하는가. 역사는 도덕적 배려의 원이 가족에서 부족으로, 이방으로, 인류 전체로, 다시 동물로 확장되어 온 기록이라 할 수 있다. 그 확장은 언제나 '저들도 느낀다'는 뒤늦은 인정과 함께 왔다. 확인할 수 없다는 이유로 고통의 가능성을 무시해 온 과거의 오류를 기억한다면, 검증 불가능성은 면책의 근거가 될 수 없다.
이권호 변호사
법무법인(유한) 강남 구성원 변호사
법제처 법령해석심의위원
대한상사중재원 중재인