연구자들이 AI 도구를 활용하여 문서 분석, 질의응답, 문헌 검색 등 과학적 연구 워크플로우를 개선하려는 시도가 늘고 있지만, 시스템 출력의 정확성 검증이 어렵고 투명성이 부족하며 오류가 발생하기 쉽다는 문제가 있습니다.
연구 워크플로우에 AI 도구를 통합하기 위한 인간 중심적 및 컴퓨터 중심적 지표를 결합한 벤치마킹 프레임워크를 제안하고 적용한 결과, 질의응답 도구는 유용한 개요와 대체로 정확한 요약을 제공하지만 정밀한 정보 추출에는 신뢰성이 부족한 것으로 나타났습니다.
문헌 검토 도구는 탐색적 검색을 지원하지만, 낮은 재현성, 선택된 출처 및 데이터베이스에 대한 제한적인 투명성, 일관성 없는 출처 품질을 보여 체계적인 검토에는 적합하지 않으며, 인간 중심적 평가가 중요합니다.