연구진이 토큰 단위 길이 모델링 프레임워크인 LenVM을 발표했어요. LenVM은 각 디코딩 단계에서 남은 생성 길이를 추정하는 가치 추정 문제로 길이 모델링을 정의해요. 각 생성 토큰에 일정한 음수 보상을 할당하여 모델이 더 짧은 시퀀스를 생성하도록 유도합니다.
기존 방식은 시퀀스 레벨에서만 작동하지만 LenVM은 토큰 레벨에서 길이 모델링을 수행하여 추론 비용과 추론 성능을 개선해요. LenVM은 토큰 단위 길이 모델링을 위한 확장 가능한 가치 사전 훈련 방식을 제공합니다.
LenVM은 길이 모델링을 가치 추정 문제로 공식화하고 각 생성 토큰에 일정한 음수 보상을 할당하여 더 짧은 시퀀스를 생성하도록 유도합니다.