연구에 따르면 언어 모델을 학습할 때 자기 생성 Q&A 방식이 사용되는데, 이는 모델이 문서에 대한 질문을 생성하고 같은 텍스트에서 답을 찾은 후 이 쌍을 사용하여 다른 모델을 미세 조정, 증류 또는 압축하는 방식입니다.
질문 생성 단계는 중립적인 전처리 과정이 아니며, 학습 신호가 될 증거를 선택하고 증거가 어떻게 답변될지 결정하는 정책입니다. 이 과정은 선택 편향과 답변의 일관성 부족이라는 취약성을 드러냅니다.
연구진은 질문 생성 편향을 줄이기 위해 각 질문을 고정된 목표에 연결하고 답변 전에 지시문과 유사한 부분을 필터링하는 방법을 제시했는데, 이를 통해 답변 주입 준수율을 크게 낮추면서도 깨끗한 텍스트는 거의 그대로 유지했습니다.