"이상하다, 그 교수님이 이런 논문을 냈을 리 없는데."
AI(인공지능)를 통해 문헌을 조사하던 미국 코넬대 정보과학과 연구팀은 어느 날 AI가 내놓은 답변에서 미심쩍은 점을 발견했다. AI가 소개한 논문의 출처가 불분명했던 것이다. 연구팀이 잘 아는 동료 연구자가 작성자로 소개된 게 계기였다. 그 연구자가 이런 주제의 논문을 발표할 리 없다고 생각한 연구팀이 직접 검증한 결과 이는 AI가 만들어낸 허상(할루시네이션), 가짜 답변이었다.
14일(현지 시각) 국제 학술지 '네이처'는 인 이앤 코넬대 정보과학 교수 연구팀이 사회과학·생명과학·의학 등 250만편의 논문에서 언급한 참고 문헌 1억1000만편의 출처를 검증한 결과, 2025년 한 해에만 14만6932건에 이르는 가짜 인용을 발견했다고 밝혔다. 참고 문헌에 이름을 올렸지만 실제로는 존재하지 않는 가짜 논문이 약 14만 개에 이른 것이다. 이는 논문 작성자가 별도의 검증 없이 AI 답변을 활용하다 보니 나타난 결과로 해석됐다. 특히 소규모 연구 그룹이나 2022년 이후 연구를 시작한 초기 경력자 그룹, AI 활용이 빠른 학술 분야 등에서 이런 경향이 두드러지게 나타났다.
코넬대 연구팀은 동료 연구자가 작성했다고 AI가 주장하지만, 실제로는 존재하지 않는 연구 결과를 발견하고 이를 계기로 대규모 조사에 돌입했다. 특히 오픈AI의 생성형 AI '챗GPT'가 최초 공개된 2022년 이후 발표된 논문을 집중적으로 조사했다.
동료평가를 거치기 전 논문(출판 전 논문·프리프린트)을 사전 공개하는 '아카이브'(arXiv), '바이오아카이브'(bioRxiv), 'SSRN'(사회과학연구네트워크) 등의 웹사이트가 조사 대상이었다. 아울러 미국 국립보건원이 운영하는 의학 분야 논문 데이터베이스 '퍼브메드센트럴'(PubMed Central) 등에 게시된 출판 논문과 출판 전 논문도 조사했다.
그 결과, SSRN에 게재된 사회과학 분야 논문에서 AI가 만들어낸 허위 출처를 인용한 사례가 1.19%로 가장 높았다. 물리 분야는 0.39%로 2위를 차지했다. 의학 분야의 가짜 출처 인용률은 0.27%, 생명과학 분야에서는 0.21%로 나타났다.
사회과학 분야에서 특히 가짜 출처를 인용한 비율이 높은 이유에 대해 과학기술계 한 전문가는 네이처에 "사회과학 논문은 (실험이 아닌) 텍스트나 서사 중심이기 때문에 서론 작성, 문헌 검토, 참고 문헌 생성 시 AI 도구를 더 쉽게 사용하기 때문일 것"이라고 설명했다. 다만 사회과학 논문의 특징과는 별개로, 논문 게재 사이트의 검증 절차 및 품질 관리 능력도 영향을 미칠 수 있다는 가능성도 제기됐다.
AI가 가짜 출처를 만들어 내는 패턴은 일정했다. AI는 주로 학계에서 잘 알려진 신뢰도 높은 연구자의 이름을 사용했다. 성별로 보면 남성 연구자의 이름이 가짜 출처로 자주 등장했다. 연구팀은 논문에서 "저명한 남성 학자의 학계 내 명성이 (가짜 인용을 통해) 더 높아질 수 있다"라며 "AI가 만들어낸 오류가 과학적 인정(연구 업적, 인용률 등)의 불평등을 강화할 수 있다는 뜻"이라고 했다.
한편 코넬대 연구팀의 이번 연구 결과는 논문 사전 게재 사이트 '아카이브'에 지난 8일 실렸다.