Hunyuan에서 Penguin-VL-8B 모델을 공개했는데, 이는 LLM 기반 비전 인코더를 활용하여 소규모 VL 모델의 효율성을 탐구하는 프로젝트예요.
기존 방식과 달리 Penguin-VL은 대비 학습을 사용하지 않고, 텍스트 LLM에서 비전 인코더를 직접 초기화하여 시각적 표현과 언어 백본 간의 조화를 이끌어냈어요.
8B 규모에도 불구하고 이미지, 문서, OCR, 수학, 비디오 벤치마크에서 경쟁력 있는 성능을 보여주며 배포 용이성도 확보했어요.