VisCo는 시각 정보 압축을 위해 사전 학습된 VLM 자체를 압축기로 활용하는 프레임워크입니다. 메모리 토큰을 사용하여 시각 정보를 압축하고 계층적 정보를 인코딩에서 디코딩으로 전달합니다. 기존 방식보다 압축률이 높고, 극단적인 단일 토큰 설정에서도 안정적입니다.
VisCo는 기존 방식의 성능 저하 문제를 해결하고, VLM의 사전 지식을 유지하면서도 효율적인 압축을 가능하게 합니다. 압축된 메모리 토큰은 원본 시각 토큰과 결합하여 기반 모델의 성능을 향상시키는 효과도 있습니다.
연구 결과, VisCo는 다양한 압축 비율에서 기존 방식보다 우수한 성능을 보였으며, 시각 정보 압축의 새로운 가능성을 제시합니다.