연구팀이 독일 국립도서관 자료를 활용해 자동 주제 색인 벤치마크를 진행했어요. 지도 XMLC 방법과 LLM 기반 생성 방법의 성능을 비교했죠. 이 결과, 지도 XMLC는 이진 관련성 지표에서 우수한 성능을 보였지만, LLM 기반 생성 방법은 긴 꼬리(long tail) 부분에서 더 나은 결과를 냈어요.
연구는 기존의 어휘 매칭 기반 방법과 최신 LLM 기반 생성 방법도 포함했어요. 전문 사서의 등급별 관련성 평가도 함께 진행하여 성능을 검증했죠. 자동 주제 색인은 대규모 통제 어휘를 레이블 집합으로 사용하는 다중 레이블 분류 문제로 정의할 수 있어요.
연구팀은 LLM 기반 생성 방법이 긴 꼬리 부분에서의 성능이 뛰어나 향후 생산적인 활용 가능성이 높다고 판단했어요. 이는 기존 지도 XMLC 방법의 한계를 극복할 수 있는 대안이 될 수 있을 것으로 기대돼요.