연구진은 44편의 메타 분석 논문 작성자가 AI 피드백을 평가하는 실험을 진행했어요. 단일 모델의 피드백이 AI 토론형 도구보다 유용하다고 판단했어요. 토론형 도구는 단일 모델보다 훨씬 많은 토큰을 사용했음에도 불구하고요.
논문 심사관의 보고서를 기억하는 작성자는 심사관 보고서를 가장 유용하게 평가했고, AI 심사관은 심사관 보고서를 최하위로 평가했어요. 이는 AI 심사관을 작가 대신 사용하면 안 된다는 경고 신호예요.
본 연구는 완성된 논문에 대한 유용성을 측정하며, AI가 논문을 심사하는 것은 별개의 문제예요.