연구진은 로페(RoPE) 빈도가 훈련 데이터의 상대적 거리 구조에 맞춰 선택된다는 데이터 중심 설명을 제시했어요.
각 빈도를 위치 렌즈로 보면 필드 해상도 균형을 이루며, 데이터 의존성 프로필 폭 W에 따라 최적 빈도 스케일은 1/W로 나타나요.
자연어의 다중 스케일 의존성 구조에서 관찰되는 중저주파 대역은 이 빈도 매칭 원리에 의해 설명돼요.
빈도 스케일링은 더 긴 컨텍스트 의존성이 훈련 중인 의존성의 대략적인 팽창일 때 장기 컨텍스트 일반화를 지원하지만, 관련 의존성이 컨텍스트 길이와 함께 스케일링되지 않으면 실패할 수 있어요.