자동화된 코드 리뷰 봇(ACR)이 산업 현장에서 점점 더 많이 사용되고 있지만, 봇이 생성한 코멘트의 유용성을 객관적으로 평가하는 것은 어려운 과제입니다.
Beko의 실제 데이터 분석 결과, G-Eval과 LLM-as-a-Judge 방식의 자동 평가 모델들이 개발자 라벨과 0.44~0.62 정도의 낮은 일치율을 보였습니다.
연구 결과는 개발자 행동이 코멘트 품질 외에도 업무 환경, 우선순위 결정, 워크플로우 등 다양한 요인에 영향을 받기 때문에 자동 평가에 어려움이 있음을 시사합니다.