연구자들이 신뢰할 수 있는 정보 수집을 위해 ACL-Verbatim이라는 새로운 시스템을 개발했어요. 이 시스템은 LLM의 환각 문제를 해결하기 위해 연구 논문에서 직접 텍스트를 추출하는 방식이에요.
연구진은 ACL Anthology 연구 논문을 기반으로 사용자 질문과 관련 텍스트 구간을 매핑하는 새로운 데이터셋을 구축하고, 이를 활용해 다양한 모델을 훈련하고 평가했어요.
ModernBERT 모델은 은색 지도 학습을 통해 53.6%의 단어 수준 F1 점수를 달성하며, 기존 LLM 추출 모델보다 뛰어난 성능을 보여줬어요.