연구진은 프롬프트 교란에 민감한 LLM의 강건성 문제를 해결하기 위해 세그먼트 수준 프레임워크 S²R² 를 제안했습니다. S²R² 은 세그먼트 간 의미 변화를 최소화하고 어댑터 안정성을 제어하여 모델을 튜닝합니다. 실험 결과, S²R² 은 타자 오류, 삭제, 동의어 치환, 패러프레이징 등 다양한 교란에 대한 강건성을 향상시켰습니다.
S²R² 은 세그먼트 수준으로 세대(generation)를 분해하고, 최적 수송 객체(optimal-transport objective)를 사용하여 정렬하며, 의미 변화가 가장 큰 세그먼트에 페널티를 부여합니다. 이를 통해 모델이 프롬프트 교란에 덜 민감하게 반응하도록 훈련합니다.
S²R² 는 기존의 일관성 기반 방법보다 더 나은 성능을 보이며, 데이터셋 간의 일반화 성능도 향상시켰습니다. 이는 어댑터 성장을 제어하여 관찰된 교란을 넘어선 일반화(transfer)를 지원하기 때문입니다.