연구진이 훈련 없이도 360 파노라마 이미지와 비디오를 생성하는 SpheRoPE 프레임워크를 발표했어요. 기존 방식은 파노라마 데이터에 대한 훈련이나 복잡한 최적화 과정을 거쳐야 했어요.
SpheRoPE는 기존 생성 모델이 가진 파노라마 사전 지식을 활용하면서도, 등적 사각형 투영(ERP)의 제약 조건을 해결하는 방식으로 작동해요.
Spherical RoPE는 로우프(RoPE)를 활용하여 3D 좌표를 활용하고, 고주파 채널을 조화롭게 양자화하여 파노라마 생성 과정을 개선하며, 프로젝트 페이지는 GitHub에서 확인할 수 있어요.