연구진은 기존의 명시적 메모리 아키텍처의 문제점을 해결하기 위해 Phasor Memory Network (PMNet)라는 새로운 아키텍처를 개발했습니다. PMNet은 Unitary Phasor Dynamics와 Hierarchical Learnable Anchors를 통해 메모리 불안정성을 구조적으로 해결합니다.
PMNet은 복잡한 단위 원에 대한 위상 회전으로 주기적인 상태 업데이트를 제한하여 그래디언트 정규화를 유지하고 발산을 방지합니다. 85개의 슬롯을 가진 계층적 메모리 트리를 활용하여 시간적 거리에 따른 정확한 검색을 달성했습니다.
119M 파라미터로 18.8B 토큰으로 학습한 PMNet은 3배 더 큰 Mamba 모델과 유사한 장기 컨텍스트 강건성을 보여주며, 명시적 메모리의 실패 원인이 구조적 정렬 문제임을 확인했습니다.