Meta-Learning 팀은 인간 선호도 데이터 부족 문제를 해결하기 위해 메타 학습 프레임워크를 제안했어요. 다른 언어의 선호도 데이터를 활용해 목표 언어에 효과적으로 적응하는 초기화 학습을 가능하게 해요. 100개의 목표 언어 선호도 샘플만으로도 기존 방식보다 최대 28%의 승률 향상을 달성했어요.
이 프레임워크는 강화 학습과 직접 선호도 최적화에 사용되는 메타-보상 모델링 및 메타-정책 최적화에 대한 이론적 보장을 제공해요. 다양한 목표 언어 및 모델 크기에서 기존 방식보다 우수한 성능을 보여줬어요.
메타 학습 언어와 목표 언어 간의 언어적 거리가 달라도 장점을 유지하며, 다국어 벤치마크에서 효과를 입증했어요.