최근 연구에서는 비전-언어 모델(VLM)의 신경원 수준 해석을 통해 최종 예측에 중요한 신경원을 파악하는 데 집중하고 있어요.
HONES는 멀티태스크 VLM에서 작업 관련 주의 헤드에 조건부로 신경원의 인과적 기여도를 평가하고, 경량화된 스케일링을 통해 중요한 신경원을 조작하는 프레임워크예요.
다양한 멀티모달 작업과 인기 VLM에 대한 실험 결과, HONES는 작업에 중요한 신경원을 식별하고 모델 성능을 향상시키는 데 기존 방법보다 우수한 성능을 보였어요.