연구진이 장문 출력 평가를 위한 LLM 평가 모델 벤치마크 'LongJudgeBench'를 공개했어요. 기존 벤치마크는 짧은 형식의 출력 평가에 집중했지만, LongJudgeBench는 다양한 시나리오와 평가 프로토콜을 고려했어요. 실험 결과, 현재 LLM 평가 모델은 상황에 따라 불안정하며, rubrics나 reference 자료가 도움이 되긴 하지만 충분하지 않다는 점이 확인됐어요.
LongJudgeBench는 다양한 LLM 평가 모델을 평가하며, 모델의 안정성 문제와 rubrics의 한계를 보여줬어요. 이 벤치마크를 통해 더욱 안정적이고 맥락을 이해하는 LLM 평가 모델 연구가 가능할 것으로 기대돼요.
LongJudgeBench 코드는 GitHub에서 공개됐으며, LLM 평가 모델 연구에 활용될 수 있을 것으로 보입니다.