연구진은 대규모 언어 모델(LLM)을 저자원 언어로 확장할 때 발생하는 '얼라인먼트 비용' 문제를 해결하기 위해 새로운 방법을 제안했어요. 기존 지도 학습 방식은 표면적인 모방에 집중하여 일반적인 능력 저하를 야기하는데요. 그룹 상대 정책 최적화(GRPO)를 활용한 의미론적 공간 정렬 패러다임을 통해 이를 개선할 수 있습니다.
티베트어-중국어 번역 및 티베트어 헤드라인 생성 실험에서, 새로운 방법은 기존 지도 학습 방식보다 얼라인먼트 비용을 줄이고 일반적인 역량을 더 효과적으로 유지했어요. 또한, 제한적인 감독 하에 더 전이 가능하고 강력한 표현을 학습하는 것으로 나타났습니다.
연구 결과는 의미론적 보상 강화 학습이 안전하고 신뢰할 수 있는 저자원 언어 확장을 위한 경로를 제시하며, 표면적인 유사성은 줄어들지만 의미론적 품질과 선호도는 높아지는 것을 보여줍니다.