연구진은 위치 인코딩(PE)의 작동 방식을 이해하기 위해 Transformer 인코더를 수정하여 의미, 절대 위치(AP), 상대 위치(RP) 정보를 분리했습니다. AP 서브스페이스는 문서 구조를 담은 저주파 2차원 매니폴드로 붕괴되는 경향을 보였습니다. 연구 결과, 표준 PE는 거시적 구조를 안정적으로 유지하지 못하며, RoPE와 RP는 이를 약하게만 인코딩합니다.
분리된 접근 방식은 위치 인코딩을 보존하여 Flash-Holmes 프로빙 벤치마크의 65개 언어 현상 중 49개에서 언어 표현을 개선했습니다. 구조와 의미 지향 그룹으로 특화된 어텐션 헤드가 관찰되었으며, RP는 후자를 지원하는 데만 사용되었습니다.