LLM의 최신 정보 유지 및 오류 수정에 필수적인 지식 편집 기술의 평가 기준을 새롭게 제시했어요. 기존 벤치마크는 편집된 사실의 회수 능력만 평가했지만, 이번에는 논리적 함축까지 고려했어요. 실험 결과, ROME과 FT 같은 기존 방법은 직접 편집된 지식은 잘 처리하지만, 논리적 함축은 제대로 반영하지 못하는 한계가 드러났어요.
새로운 벤치마크는 지식 그래프에서 논리 규칙을 추출하고, 이를 기반으로 다중 홉 질문을 생성하여 지식 편집 방법이 논리적 함축에 미치는 영향을 평가해요. 기존 방법들은 직접 편집된 지식에 대한 평가와 논리적 함축에 대한 평가 간에 최대 24%의 성능 격차가 발생했어요.
연구 결과, 지식 편집 평가 시 의미론적 요소를 고려하는 새로운 평가 프레임워크의 필요성을 강조하며, LLM의 지식 편집 능력 향상을 위한 연구 방향을 제시했어요.