연구진은 GPT-5.2를 포함한 AI 리뷰어가 인간 리뷰어보다 정확한 비판을 제공할 수 있는지 평가하기 위해 45명의 과학자가 2,960건의 리뷰 비판을 평가하는 대규모 연구를 진행했어요.
AI 리뷰어는 인간 리뷰어보다 정확성, 중요성, 증거의 충분성 측면에서 높은 평가를 받았으며, 인간이 언급하지 못한 26%의 문제점을 발견하기도 했어요.
하지만 AI 리뷰어는 인간 리뷰어보다 중복되는 경향이 강하고, 세부 분야 지식 부족, 문맥 관리 미흡, 사소한 문제에 대한 과도한 비판 등 16가지 약점을 보이며, 현재는 인간 리뷰어를 대체하기 어렵다는 결론을 내렸어요.