연구진은 다중 뷰 스트리밍 비디오에서 실시간 신규 뷰 합성을 연구하며, 장기적인 메모리 유지와 실시간 제약 사이의 균형을 맞추는 데 어려움을 겪고 있어요. 기존 Test-Time Training 방식은 프레임마다 메모리 업데이트를 수행하여 동적 장면의 변화에 적응하지만, 계산 비용이 높아 실시간 적용이 어렵다는 한계가 있었어요.
연구진은 메모리 업데이트와 적용 빈도를 분리하여 문제를 해결하고, 장면의 역사적 맥락을 유지하기 위해 Memory Loss와 Memory Caching 전략을 도입했어요. Memory Loss는 장면의 일관성을 유지하고, Memory Caching은 메모리 가중치 변화를 안정화하는 역할을 해요.
새로운 방법은 동적 인간 움직임이 있는 장면에서 실시간으로 최첨단 성능을 달성했으며, 분 단위 온라인 메모리화를 가능하게 했어요.