새로운 AI, 의심스러운 과학 저널 탐지

과학자들은 불량한 행위를 하는 오픈 액세스 학술지를 탐지하는 인공지능 시스템을 개발했습니다. 이를 통해 과학 분야에서의 무결성 위협과 인간의 평가가 필요함을 밝혀냈습니다

오픈 액세스 저널은 전 세계 과학자들이 연구를 무료로 접근할 수 있게 해주어 그들의 글로벌 노출을 증가시킵니다. 그러나, 이 오픈 액세스 모델은 의심스러운 저널이 확산하는 환경을 조성하였습니다. 이런 매체들은 종종 저자에게 비용을 부과하고, 빠른 출판을 약속하지만, 적절한 동료 평가가 부족하여 과학적 무결성을 위태롭게 합니다.

연구자들은 최근 이 문제를 해결하기 위한 새로운 AI 도구 테스트에 대한 결과를 발표하였다. 그들은 12,000개가 넘는 고품질 저널과 함께, 개방 접근 저널 디렉토리(DOAJ)에서 제거된 2,500개의 저품질 또는 문제가 있는 출판물을 사용하여 AI를 훈련시켰다.

AI는 편집위원회의 공백, 비전문적인 웹사이트 디자인, 그리고 최소한의 인용 활동을 분석함으로써 빨간색 플래그를 식별하는 방법을 배웠다.

그것은 Unpaywall의 93,804개의 오픈 액세스 저널 데이터 세트에서 이전에 알려지지 않았던 1,000개 이상의 의심스러운 저널을 확인했습니다. 이들 저널은 수십만 개의 기사를 발행합니다. 많은 이런 의심스러운 저널들은 개발도상국에서 출판되었습니다.

“우리의 연구 결과는 AI가 대규모로 진실성을 검증하는 데 있어서의 잠재력을 보여주며, 동시에 전문가의 검토와 자동화된 분류를 결합할 필요성을 강조합니다,”라고 연구자들은 썼습니다.

연구자들은 이 시스템이 완벽하지 않다고 지적합니다. 현재 24%의 잘못된 양성 반응을 만들어내는데, 이는 4개 중 1개의 진정한 학술지가 잘못 표시될 수 있다는 것을 의미합니다. 최종 평가를 위해서는 여전히 인간 전문가의 판단이 필요합니다.

이 인공지능 시스템은 웹사이트 내용, 디자인 요소, 그리고 인용 패턴과 저자 소속 기관을 포함한 문헌정보 데이터를 분석하여 학술지의 신뢰성을 평가합니다. 의심스러운 학술지의 지표로는 높은 자기 인용률과 낮은 저자의 h-index 값이 있습니다. 반면에, 확립된 기관의 다양성과 광범위한 인용 네트워크는 신뢰성을 나타냅니다.

연구팀은 미래의 발전이 AI 시스템의 기만적인 출판전략 탐지 능력을 향상시킬 것으로 예상합니다. 자동화 도구와 인간의 감독을 결합함으로써, 과학 커뮤니티는 연구의 진실성을 더 잘 보호하고 저자들을 신뢰할 수 있는 저널로引導할 수 있습니다.