연구팀이 실시간 스트리밍을 위한 고화질 비디오 복원 모델 SwiftVR을 개발했어요. 기존 모델의 성능 저하 및 메모리 문제를 해결했습니다. Mask-free shifted-window self-attention과 Restoration-aware Autoencoder 기술을 적용했어요. RTX 5090에서 1920x1080 해상도로 26fps 달성했습니다.
SwiftVR은 기존 모델 대비 메모리 사용량을 줄여 소비자용 GPU에서도 원활하게 작동해요. 31~FPS로 2560x1440 해상도, 14~FPS로 3840x2160 해상도를 지원해요. 소비자용 GPU에서 실시간 1080p 스트리밍이 가능한 첫 번째 모델이에요.
프로젝트 코드는 GitHub에서 확인할 수 있어요. 기존 diffusion 기반 VR 모델의 한계를 극복하고, 실시간 고화질 비디오 복원 가능성을 제시했어요.