세 줄 요약

• GPTZero 조사 결과, NeurIPS 등 주요 학술 대회 논문에서 AI가 생성한 허위 서지 정보와 인용 문구가 발견되었다.
• 동료 검토 시스템이 AI의 환각 현상을 걸러내지 못하면서 학술적 무결성에 대한 우려가 제기되고 있다.
• 학계는 자동화된 검증 도구 도입과 리뷰어의 책임 강화를 포함한 새로운 검증 프로세스 구축을 검토하고 있다.

현황

인공지능 탐지 기술 기업인 GPTZero는 최근 NeurIPS를 포함한 주요 학술 대회에 제출된 논문들을 분석했다. 조사 결과, 다수의 논문이 존재하지 않는 저자, 제목, 학술지 이름을 조합한 허위 문헌을 참고 문헌 목록에 포함한 것으로 나타났다. 이는 대규모 언어 모델(LLM)이 정보를 생성할 때 발생하는 환각 현상(Hallucination)의 결과다.

이러한 'AI 슬롭(AI Slop)'이 포함된 논문 중 일부는 동료 검토 과정을 통과했다. 리뷰어들은 논문의 논리적 구조와 실험 결과에 집중하며, 참고 문헌의 실재 여부를 교차 검증하지 않는 경우가 많다. GPTZero는 AI가 생성한 문장이 자연스러워지면서 인간 검토자가 기계의 개입을 파악하기 어려워졌다고 분석했다.

현재 학계는 이 문제를 연구 윤리 위반으로 규정하고 대응책을 마련 중이다. 일부 학회는 논문 제출 시 AI 사용 여부를 명시하도록 규정하고 있으나, 익명성을 바탕으로 하는 리뷰 과정에서 이를 통제하기에는 한계가 있다.

분석

이번 사례는 학계의 '출판 압박(Publish or Perish)' 문화와 AI의 편의성이 결합하여 나타난 현상이다. 연구자들이 논문 작성 시간을 단축하기 위해 AI를 활용하면서, 생성된 정보의 사실관계를 확인하는 과정을 누락한 결과다. 가짜 인용이 포함된 논문이 다른 연구에 다시 인용될 경우, 학계 전체에 잘못된 정보가 확산할 가능성이 있다.

동료 검토 시스템의 구조적 한계도 원인으로 지목된다. 리뷰어는 대가 없이 봉사하는 전문가들로, 제출되는 논문 양에 비해 검토 시간이 부족하다. AI가 생성한 문장과 도표는 리뷰어의 판단을 어렵게 만들 수 있다. 기존의 인간 중심 검증 방식이 AI를 활용한 논문 작성 속도와 정교함을 따라잡지 못하는 상황이다.

AI 탐지 도구의 실효성에 대한 논의도 진행 중이다. GPTZero와 같은 도구가 허위 인용을 찾아내는 데 기여하고 있지만, AI 모델이 고도화될수록 탐지 도구와의 기술 경쟁은 지속될 것으로 보인다. 탐지 도구가 제시하는 확률적 수치만으로 연구자의 윤리성을 판단하기에는 제도적 근거가 부족하다는 의견도 있다.

실전 적용

연구자와 학술지 운영진은 학문적 신뢰를 유지하기 위해 다음과 같은 조치를 고려해야 한다.

1. 연구자: 논문 작성 시 AI를 활용했다면, 생성된 모든 참고 문헌을 구글 스칼라(Google Scholar)나 디지털 객체 식별자(DOI) 데이터베이스를 통해 수동으로 대조해야 한다. 참고 문헌의 실재 여부를 확인하는 과정이 필요하다.
2. 리뷰어 및 학회: 논문 심사 과정에 자동화된 서지 정보 검증 도구를 도입해야 한다. 인용된 논문의 제목과 저자가 실제 데이터베이스와 일치하는지 자동으로 확인하는 시스템을 구축하여 검증의 정확도를 높일 수 있다.
3. 제도적 보완: 논문 제출 시 AI 탐지 리포트 제출을 권고하거나, 허위 인용 발견 시 제재를 가하는 가이드라인을 수립해야 한다.

FAQ

Q: AI가 만든 가짜 인용은 왜 발생하는가? A: 대규모 언어 모델은 단어 간의 확률적 관계를 바탕으로 문장을 생성한다. 이 과정에서 특정 주제와 관련된 저자 이름이나 학술지 명칭을 조합하여 실재하지 않는 정보를 생성할 수 있다.

Q: 인간 리뷰어들이 이를 발견하지 못한 이유는 무엇인가? A: 리뷰어는 주로 연구 방법론, 독창성, 결과의 타당성을 중심으로 평가한다. 참고 문헌 목록은 양이 많고, 익숙한 키워드가 포함되어 있으면 상세히 검증하지 않고 넘어가는 경우가 발생하기 때문이다.

Q: AI 탐지 도구의 결과는 신뢰할 수 있는가? A: 탐지 도구는 문장 패턴을 분석해 AI 생성 확률을 제시하며, 오탐(False Positive)의 가능성이 있다. 따라서 탐지 도구는 의심 사례를 선별하는 보조 수단으로 활용하고, 최종 판단은 전문가가 확인한 증거를 바탕으로 내려야 한다.

결론

NeurIPS에서 발견된 AI 허위 인용 사례는 AI가 학술적 신뢰성에 영향을 줄 수 있음을 시사한다. 환각 현상으로 생성된 정보를 걸러내지 못한다면 학술 논문의 신뢰도는 하락할 수 있다. 학계는 AI 기술을 수용하되, 이를 검증할 수 있는 자동화 시스템과 강화된 윤리 기준을 병행하여 마련해야 한다. 기술적 보완과 함께 연구자의 책임감 있는 검수가 요구된다.

참고 자료

• 🛡️ Source