Pulse · AI 뉴스

서로게이트 그래디언트 넘어: 비전-언어 모델을 위한 완전 미분 가능 토큰 가지치기

DiffPrune · 2026-05-27

연구진이 DiffPrune이라는 새로운 토큰 가지치기 방법을 제안했어요. 기존 방법의 한계를 극복하기 위해 토큰 정보 제어 방식을 도입하여 학습 가능성을 높였어요.

DiffPrune은 10개의 VLM 벤치마크에서 전체 모델 정확도의 96.5%를 유지하며 LLM 프리필 속도를 2.85배 가속화했어요.

새로운 방법은 추론 시 0.69ms의 오버헤드만 발생시켜 효율성을 입증했어요.

##VLM##토큰가지치기##DiffPrune
매일 핵심 AI 소식을 한국어로, 빠르게
App Store 에서 Pulse 받기 앱에서 열기