연구진이 긴 문서 키워드 추출(KPE) 성능을 높이는 어텐션 확장 기법을 제안했어요. 기존 PLM은 긴 문서의 멀리 떨어진 정보까지 포괄하기 어려웠어요.
어텐션 확장은 PLM 토큰 표현에 주변 정보를 추가하여 효과적인 컨텍스트 범위를 넓히는 방식이에요. LLM처럼 전체 문맥을 처리하지 않아도 돼 효율적입니다.
다양한 PLM 기반 모델에서 실험 결과, KPE 성능이 꾸준히 향상되었고 기존 최고 성능 모델을 능가했어요.
어텐션 확장은 기존 모델의 한계를 보완하는 정보 제공하며, 과학 및 뉴스 도메인 벤치마크에서 F1 점수 향상을 보였어요.