연구진은 실제 상호작용 피드백이나 인간 레이블 없이 LLM을 훈련하는 방법을 제안했어요. 이 방법은 모델 자체 출력을 지도 신호로 활용하여 가짜 레이블을 생성하고, 여러 번의 예측을 통해 집단 투표를 통해 가짜 레이블을 생성해요.
Neuron-OPSD는 내부 뉴런 활성화를 활용하여 훈련 데이터 선택과 교사 컨텍스트 구축을 안내하는 데이터 중심의 자체 증류 프레임워크예요. 이 프레임워크는 어떤 단계에서도 ground truth 레이블이 필요 없어요.
특정 도메인 벤치마크에서 Neuron-OPSD는 기존의 레이블 없는 기준보다 더 나은 성능을 보이며, 도메인 간 일반화 보존과 교정 오류 완화를 달성했어요.