연구진은 LLM 판별 시스템의 편향 연구에서 LLM이 답변을 생성하는 과정에서 오류가 발생할 수 있음을 지적했어요. 다국어 데이터셋에서 디코딩 예산 설정 오류로 인해 LLM이 생성한 답변이 잘리는 문제가 발생했고, 이로 인해 판별 정확도가 크게 떨어졌어요. 이 문제는 집계 통계만으로는 발견하기 어려워, 데이터셋의 무결성을 검증하는 새로운 프로토콜의 필요성을 강조했어요.
기존 방식의 데이터셋은 LLM이 생성한 부정 예시를 사용하기 때문에 데이터 무결성을 검증할 방법이 없지만, 금 답안을 기반으로 하는 방식은 각 항목별 검증 기능을 제공해요. 연구진은 이를 확인하기 위해 의도적으로 오류를 삽입한 결과, 간단한 문자열 비교만으로 오류를 100% 검출할 수 있었어요. 이 사례를 바탕으로, 데이터셋 분석가가 데이터 무결성을 검증할 수 있는 프로토콜을 제안했어요.
연구진은 LLM 판별 시스템 데이터셋 구축 시 데이터 무결성을 보장하기 위해, LLM이 생성한 답변의 오류 가능성을 인지하고, 데이터셋의 오류를 검증할 수 있는 방법을 적용해야 한다고 주장해요. 기존 방식의 데이터셋은 오류가 은밀하게 숨겨져 있을 수 있으며, 집계 통계로는 이를 감지하기 어렵기 때문이에요.