독립 연구자가 학습 없이 추론 시점에 규칙을 적용하는 '빠른 가중치 메모리' 기술을 개발하여 Zenodo에 프리프린트 공개했어요. 이 기술은 300만 파라미터 DeepSeek 스타일 트랜스포머에 8개의 메모리 슬롯을 적용하여 대화형 규칙 기반 작업을 수행하며, 각 슬롯은 하이퍼네트워크를 통해 토큰 스트림에 적용되는 저랭크 MLP 레이어로 확장돼요.
메모리 기술은 단일 규칙 적용에 0.79~1.00의 정확도를 보이며, 물리적 삭제에도 규칙이 유지되고, 대화 중 교체도 가능해요. 기존 테스트 시간 학습(TTT) 방식보다 훨씬 효율적이며, 인컨텍스트 학습(ICL)보다도 우수한 성능을 보여줘요.
메모리 정책은 아키텍처가 아닌 학습 분포에 의해 결정되며, 실험 재현 가능성을 위해 모든 코드와 데이터가 GitHub에 공개되었고, Claude를 활용하여 연구 및 초안 작성 과정을 거쳤다고 밝혔어요.