연구팀은 프롬프트 기반 언어 모델을 분류기로 활용하는 방식이 제한된 학습 데이터 환경에서 분류 작업을 가능하게 하지만, 파인튜닝의 강점인 성능과 안정성을 놓칠 수 있다고 밝혔습니다.
교차 도메인 일반화 훈련은 인접한 도메인에서 분류 성능을 향상시키지만, 훈련 데이터와 완전히 다른 분류 프롬프트가 주어질 경우 모델이 프롬프트를 제대로 따르지 못하는 경우도 발생합니다.
교차 도메인 일반화 훈련은 분류 작업과 일반적인 지시사항 학습을 혼합하여 진행할 수 있으며, 이 경우 분류 훈련의 장점을 유지하고 일반화 실패를 완화할 수 있습니다.