연구진이 LLM의 테이블 작업 오류(데이터 참조 오류, DRE)를 체계적으로 평가했어요. 17억~200억 파라미터 모델 모두에서 DRE가 발생했으며, 중간 추론 단계의 신뢰성을 저해해요. 데이터 참조를 비평기로 활용해 답변 정확도를 최대 12.0% 향상시켰고, 40억 파라미터의 경량 비평기 모델을 훈련해 DRE 감지 정확도 78.2%를 달성했어요.
DRE는 테이블 값을 잘못 인용하거나 누락하는 오류로, 테이블 구조는 이해하지만 발생해요. 기존 연구는 소규모 분석에 그쳤지만, 이번 연구는 다양한 모델과 작업에서 DRE를 체계적으로 평가했어요. 비평기 모델은 DRE를 감지하고, 오류가 있는 답변을 거부하여 답변 정확도를 높이는 역할을 해요.
연구진은 DRE 감지 비평기 모델을 훈련해, 1.7B~20B 파라미터 모델에서 발생하는 DRE를 효과적으로 감지하고, 더 큰 모델의 추론을 지원하는 데 활용했어요. 이 모델은 기존 모델의 성능을 향상시키고, 테이블 데이터 작업의 신뢰성을 높이는 데 기여할 수 있어요.