최첨단 LLM조차도 입력 문자열을 정확히 복사하는 단순한 작업에서 실패하는 현상이 발견돼요. 연구진은 Transformer 구조의 위치 인코딩 방식이 원인이라고 분석했어요. 2D-RoPE라는 새로운 방식을 도입해 텍스트를 2차원 그리드로 표현하고, 토큰마다 행과 열 ID를 부여했어요.
2D-RoPE를 적용한 모델은 학습 데이터 길이의 수백 배에 달하는 긴 입력에서도 완벽한 복사를 달성했지만, 기존 방식은 성능이 뒤쳐졌어요. 대규모 사전 훈련에서도 2D-RoPE 모델이 복사 작업에서 우위를 보였어요.
연구 결과, 텍스트를 2차원으로 시각화하는 것이 언어 모델링에 도움이 될 수 있으며, 향후 2D 위치 인코딩 연구를 장려할 것으로 기대돼요.