최신 AI 도구가 ChatGPT 기사와 같은 AI 생성 콘텐츠를 식별하는 데 있어 전통적인 방법을 능가하며, 과학 연구를 표절로부터 보호하는 데 도움을 줌.
연구: xFakeSci 학습 알고리즘을 통한 ChatGPT 가짜 과학 탐지. 이미지 출처: dauf / Shutterstock.com
ChatGPT와 같은 생성적 인공지능(AI) 도구의 사용 증가로 인해 다른 출처에서 표절된 인간처럼 보이는 콘텐츠의 위험이 증가하고 있음. Scientific Reports에 발표된 새로운 연구는 xFakeSci의 성능을 평가하여 진정한 과학 콘텐츠와 ChatGPT 생성 콘텐츠를 구별함.
생성적 AI가 연구에 미치는 위협
AI는 처리 방향을 제시하는 프롬프트나 명령을 기반으로 콘텐츠를 생성함. 소셜 미디어에 의해 조장된 포식 저널들은 의심스러운 관점을 권위 있게 보이게 하기 위해 가짜 과학 기사를 발표함. 이는 실제 과학 출판물에 AI 생성 콘텐츠가 발표될 경우 더욱 악화될 수 있음.
이전 연구들은 AI 생성 콘텐츠와 진정한 과학 콘텐츠를 구별하는 데 있어 어려움이 있음을 강조함. 따라서 정확한 탐지 알고리즘 개발의 필요성이 시급함.
연구의 목표 및 개요
현재 연구에서는 AI 생성 콘텐츠와 진정한 과학 콘텐츠를 구별할 수 있는 새로운 학습 알고리즘인 xFakeSci를 활용함. 이 네트워크 기반 레이블 예측 알고리즘은 단일 및 다중 모드 작동을 포함하며, 각각 하나 및 여러 유형의 자원을 사용하여 훈련됨.
훈련 중 연구자들은 ChatGPT와의 차별적 특성을 가진 가짜 문서를 식별하기 위해 엔지니어링된 프롬프트를 사용함. 이후 xFakeSci를 사용하여 문서 클래스와 진위 여부를 예측함.
두 가지 유형의 네트워크 훈련 모델은 PubMed 초록에서 얻은 ChatGPT 생성 및 인간 작성 콘텐츠를 기반으로 함. 두 데이터 세트는 암, 우울증 및 알츠하이머병(AD)에 대한 기사를 분석함.
두 가지 콘텐츠 간의 차이점
ChatGPT 생성 콘텐츠와 인간 생성 기사 간의 눈에 띄는 차이점 중 하나는 각 유형의 콘텐츠에서 계산된 노드와 엣지의 수임. ChatGPT 생성 콘텐츠는 노드 수가 현저히 적지만 엣지 수가 더 많아 노드-엣지 비율이 낮음. 또한 AI 생성 데이터 세트는 세 가지 질병 모두에서 실제 과학자 생성 콘텐츠에 비해 각 k-Fold에 대해 더 높은 비율을 보임.
테스트 점수
훈련 및 보정 후, xFakeSci는 각 질병에 대해 100개의 기사를 테스트함. 우울증, 암 및 AD에 대한 각각 50개씩의 PubMed 및 ChatGPT에서 가져옴. F1 점수는 진정한 긍정, 진정한 부정, 거짓 긍정 및 거짓 부정에서 계산됨.
우울증, 암 및 AD에 대한 기사는 각각 80%, 91%, 89%의 F1 점수를 얻음. 모든 인간 생성 콘텐츠는 xFakeSci에 의해 탐지되었으나, ChatGPT 생성 문서 중 각각 25, 41, 38개만 정확히 식별됨. ChatGPT 생성 콘텐츠는 혼합 클래스에서 분석할 때 오래된 진정한 기사와 혼합되었을 때 더 정확하게 식별됨.
ChatGPT는 FP(거짓 긍정) = 25로 PubMed로 분류됨. 이는 테스트 문서의 50%가 실제 출판물로 잘못 분류됨을 의미함.
xFakeSci의 벤치마킹
Naïve Bayes, Support Vector Machine(SVM), Linear SVM 및 Logistic Regression과 같은 10개의 전통적인 데이터 마이닝 알고리즘과 비교했을 때, xFakeSci의 점수는 2020년부터 2024년까지 발표된 기사에 대해 80%에서 91% 사이에 머물렀음. 반면 다른 알고리즘은 43%에서 52% 사이의 변동 성능을 보임.
2014-2019년 및 2010-2014년 사이에 발표된 이전 기사에서도 xFakeSci와 다른 알고리즘 간의 동일한 격차가 관찰됨. 따라서 xFakeSci는 모든 기간에 걸쳐 다른 알고리즘보다 우수함.
결론
xFakeSci 알고리즘은 혼합 테스트 세트를 테스트하고 각 유형에 대한 정확한 레이블을 생성하는 데 특히 적합함. 비율 및 근접 거리 기반의 보정 단계를 포함하면 이 알고리즘의 분류 측면이 개선되지만, 과도한 샘플 수의 추가는 배제됨.
xFakeSci의 다중 모드 분류 측면은 이 알고리즘이 ChatGPT 생성 기사와 혼합되었을 때도 실제 기사를 정확하게 식별할 수 있게 함. 그러나 xFakeSci는 모든 ChatGPT 생성 콘텐츠를 식별하는 데는 성공적이지 않음.
ChatGPT에서 생성된 네트워크는 낮은 노드-엣지 비율과 관련이 있으며, 이는 각 문서의 총 단어 수에 대한 bigram 비율 증가와 동반됨.
ChatGPT는 통계적 상관관계를 기반으로 다음 단어를 예측하여 인간과 유사한 콘텐츠를 생성하도록 개발되었으나, 그 목표는 가설 테스트, 실험 및 관찰을 문서화하는 과학적 목표와 일치하지 않음.
xFakeSci 알고리즘은 ChatGPT 생성 임상 노트, 개입 및 임상 실험 요약의 잠재적으로 가짜 부분을 구별하는 데 다른 응용 프로그램이 있을 수 있음. 그럼에도 불구하고 생성적 AI 도구의 무책임한 사용을 방지하기 위해 윤리적 지침이 시행되어야 하며, 그 이점을 인식해야 함.
AI는 시뮬레이션된 데이터를 제공하고, 여러 프로그래밍 응용 프로그램을 위한 코드 세그먼트를 구축하며, 비원어민을 위해 읽기 쉬운 문법 영어로 과학 연구를 제시하는 데 도움을 줄 수 있음. 그러나 AI 생성 콘텐츠는 온라인에서 이용 가능한 연구 문서를 표절할 수 있으며, 이는 과학적 진보와 학습에 방해가 될 수 있음. 따라서 저널 출판사는 위조 보고서를 식별하기 위해 탐지 알고리즘 및 기타 기술을 구현하는 중요한 역할을 함.
미래 연구는 지식 그래프를 사용하여 출판의 밀접하게 연결된 분야를 클러스터링하여 탐지, 훈련 및 보정의 정확성을 개선하고, 여러 데이터 소스를 사용하여 xFakeSci의 성능을 테스트할 수 있음.
