연구진은 엔티티 추적 성능 향상을 위해 구조적 희소 어텐션 기법을 개발했어요. 이 기법은 시퀀스 길이에 따라 $O(n^{4/3}d)$ 복잡도를 가지며, 기존 모델 대비 시간 효율성을 높여요. 실험 결과, 정확도는 유지하면서도 12~29%의 벽시계 시간 단축 효과를 확인했어요.
기존 모델의 단점을 개선한 이 기법은 블록 크기 및 모델 용량에 따른 분석을 통해 최적화되었으며, 동시에 진화하는 속성 수와 어텐션 헤드 수 간의 제한점을 발견했어요.
본 연구는 시퀀스 길이에 따른 복잡도 감소와 정확도 유지라는 두 가지 목표를 동시에 달성하여, 엔티티 추적 모델의 실용성을 높이는 데 중요한 역할을 할 것으로 보입니다.