연구진은 딥 검색 에이전트 훈련에 필요한 검증 가능한 질문을 합성하는 방법인 FORT-Searcher를 개발했어요. 기존 방법은 그래프 구조를 복잡하게 만들어 어려움을 더했지만, 실제 검색 난이도와는 차이가 있었어요. FORT는 단축 경로 위험을 제어하여 더 효과적인 훈련 데이터를 생성하고, 이를 통해 딥 검색 벤치마크에서 우수한 성능을 달성했어요.
FORT는 단축 경로 위험을 진단하기 위해 해결 비용, 답변 히트 시간, 단축 경로 비율 등의 경로 서명을 사용하며, 엔티티 선택, 증거 그래프 구성, 질문 작성, 적대적 개선을 통해 단축 경로에 강한 훈련 데이터를 구축해요. 실험 결과, FORT는 기존 데이터보다 더 긴 사전 답변 검색과 적은 단축 경로 패턴을 유도했어요.
연구진은 FORT-Searcher를 개발하여 지도 학습만으로 훈련했고, 기존 오픈 소스 검색 에이전트보다 뛰어난 성능을 보였으며, 관련 자료는 GitHub에서 확인할 수 있어요.