연구진은 대화형 정보 검색의 어려움을 해결하기 위해 모델 병합 기법을 도입했어요. 이 기법은 추가 훈련 없이 광고 검색과 대화형 설정 모두에서 작동하는 단일 검색 모델을 설계할 수 있도록 해줍니다. 실험 결과, 모델 병합은 대화형 검색기의 광고 검색 능력을 향상시키고 다양한 데이터 세트에서 일반화 성능을 개선하는 것으로 나타났어요.
Model Soup과 Slerp라는 선형 및 비선형 파라미터 병합 전략을 활용하여 표준 광고 검색 및 대화형 검색 데이터 세트에서 실험을 진행했어요. 광고 검색 성능은 최대 15% 향상되었고, 훈련 없이도 다양한 데이터 세트에서 일반화 성능이 향상되었어요.
기존의 미세 조정 방식은 비용이 많이 들고 파국적인 망각 현상을 일으키는 문제를 해결하고, 모델 재훈련 없이도 광고 검색과 대화형 설정을 모두 지원하는 단일 모델을 만들 수 있다는 점에서 의미가 있습니다.