본 연구는 위치 인코딩을 활용한 트랜스포머 모델의 함수적 동치성을 분석합니다. 사인 위치 인코딩은 기존 어텐션의 동치 구조를 유지하지만, 로터리 위치 인코딩(RoPE)은 대칭군을 줄여 표현력을 향상시킵니다. 이러한 분석은 로터리 위치 인코딩의 실용적인 장점을 설명합니다. 본 연구는 위치 인코딩이 선형 모드 연결성에 미치는 영향을 조사하고, 연결성 패턴이 위치 인코딩에 따라 달라짐을 실증적으로 확인합니다.
사인 위치 인코딩은 기존 어텐션과 동일한 동치성을 유지하는 반면, 로터리 위치 인코딩(RoPE)은 모델의 대칭성을 감소시켜 표현력을 높입니다. 이는 로터리 위치 인코딩이 널리 사용되는 이유를 설명합니다.
본 연구는 트랜스포머 모델의 연결성을 분석하는 알고리즘을 개발하여, 위치 인코딩이 연결성 패턴에 미치는 영향을 실증적으로 보여줍니다.