연구팀은 대규모 언어 모델(LLM)의 사실 암기 방식을 분석하기 위해 RedirectQA라는 새로운 질의응답 데이터셋을 개발했어요.
RedirectQA는 위키백과 리디렉션 정보를 활용하여 다양한 표면 형태(별칭, 약어, 오기 등)로 사실 정보를 연결하고, 모델의 예측 결과가 표면 형태에 따라 어떻게 달라지는지 조사했어요.
연구 결과, 모델은 사소한 철자 변형에는 강건하지만, 별칭이나 약어와 같은 큰 어휘 변형에는 취약하며, 개체 및 표면 형태의 빈도가 정확도에 영향을 미치는 것으로 나타났어요.