Pulse · AI 뉴스

멀티-인코더 VLM에서 인코더 역할 측정: Beyond Encoder Accumulation

Cambrian-1 · 2026-06-03

연구진은 16개 벤치마크(Cambrian-1)에서 5가지 비전 인코더의 모든 31개 하위 집합을 재훈련하고 평가하여 멀티-인코더 VLM 설계의 방법론적 격차를 분석했어요.

인코더의 기여도를 용량(혼자 성능)과 필요성(제거 시 성능 저하)으로 분해했는데, 두 요소는 대체 불가능하며, 최적의 조합은 고용량 앵커와 적응형 보완으로 나타났어요.

고정된 파라미터 수에서 각 인코더의 사전 프로젝터 효과적인 순위가 잔여 성능 변동을 설명하며, 앵커와 보완의 조합이 최적의 성능을 낸다고 밝혔어요.

##VLMs##인코더##멀티모달
매일 핵심 AI 소식을 한국어로, 빠르게
App Store 에서 Pulse 받기 앱에서 열기