연구 결과, ChatGPT 및 기타 AI 도구들이 철회된 연구를 인용한다고 보고됨

일부 인공지능 챗봇들이 철회된 과학 논문의 결함있는 연구를 바탕으로 답변을 제공하고 있다는 최근 연구 결과가 나타났습니다.

MIT Technology Review가 확인한 연구 결과는 연구자들, 학생들 그리고 일반 대중에게 과학적 질문에 대한 답변을 제공하는 데 있어 AI의 신뢰성에 의문을 제기합니다.

AI 챗봇들이 때때로 참조를 조작하는 것으로 이미 알려져 있습니다. 하지만 전문가들은 출처가 실제일지라도, 그 논문들이 과학 기록에서 삭제된 경우 문제가 생긴다고 경고합니다.

테네시 대학교의 의학 연구자인 Weikuan Gu는 “챗봇이 ‘실제 논문, 실재하는 자료를 사용해서 당신에게 어떤 것을 말하고 있다’”라고 말했습니다. MIT에서 보도했다고 합니다. “하지만,” 그는 말했습니다, “사람들이 답변의 내용만 보고 논문을 클릭해서 그것이 철회된 것임을 확인하지 않는다면, 그것은 실제로 문제가 됩니다.”라고 그는 덧붙였습니다.

MIT는 구 팀이 OpenAI의 GPT-4o 모델에서 실행되는 ChatGPT를 21개의 철회된 의료 영상 논문으로 테스트했다고 보고했습니다. 이 챗봇은 철회된 출처를 5번 참조했지만, 이 문제에 대해 사용자에게 경고한 것은 그중 3번뿐이었습니다. 또 다른 연구에서는 GPT-4o 미니와 유사한 문제를 발견했는데, 이는 철회 사항에 대해 전혀 언급하지 않았습니다.

이 문제는 ChatGPT를 넘어섭니다. MIT는 Elicit, Ai2 ScholarQA, Perplexity, 그리고 Consensus를 테스트하여 연구 중심의 AI 도구를 평가했습니다. 각각은 철회된 연구를 인용했지만, 이에 대해 경고하지 않았습니다. 연구자들은 이런 일이 수십 건의 경우에서 여러 번 발생했다고 말했습니다. 일부 회사들은 이제 탐지를 개선하고 있다고 말합니다.

“최근까지만 해도, 우리의 검색 엔진에는 뛰어난 철회 데이터가 없었습니다.”라고 Consensus의 공동 창립자인 크리스티안 세일럼이 말했습니다. 이 회사는 실수를 줄이기 위해 새로운 소스를 추가했습니다.

전문가들은 철회 데이터가 일관성이 없고 부족하다고 주장합니다. “어떤 것들이 철회되면, 그것들은 매우 다른 방식으로 철회되었다고 표시될 수 있습니다.”라고 레지나 대학의 케이틀린 박커가 말합니다.

연구자들은 사용자들에게 경계심을 갖도록 경고하고 있습니다. “우리는 아직 매우 초기 단계에 있으며, 기본적으로 늘 의심하는 태도를 가져야 합니다,”라고 싱가포르 경영 대학의 아론 테이가 말했습니다.