연구진이 비디오 매팅 성능을 높이는 SAM2Matting 프레임워크를 개발했어요. 기존 방식과 달리 VOS 트래커를 활용해 시간적 일관성을 유지하면서도 세밀한 디테일을 해결하는 방식을 사용해요. 이미지 데이터만으로 학습했음에도 불구하고 비디오 매팅 분야에서 최고 성능을 달성하며 다양한 환경에서 강건한 성능을 보여줘요.
SAM2Matting은 트래커와 매팅 모듈을 분리하여 시간적 일관성을 유지하는 트래커가 핵심 역할을 하고, 매팅 모듈은 세밀한 디테일을 처리하도록 설계됐어요. 이를 통해 기존 방식의 한계를 극복하고 더욱 자연스러운 비디오 매팅 결과를 얻을 수 있어요. 특히, 다양한 프롬프트 유형을 지원하고, 인간 중심 및 야외 환경에서 강건한 성능을 보여줘요.
기존 비디오 매팅 방식은 프레임별 이해를 요구하는 추적과 세밀한 디테일에 집중하는 매팅 간의 간극 때문에 어려움을 겪어왔어요. SAM2Matting은 이러한 문제를 해결하고 비디오 매팅 분야의 새로운 가능성을 열었습니다.