Pulse · AI 뉴스

양자화된 소형 언어 모델 추론 과정 모니터링 및 타겟 재-디코딩

MGT-B · 2026-07-22

연구진은 양자화된 소형 언어 모델의 비효율적인 추론 경로를 개선하기 위해 MGT-B(Monitoring-Guided Test-time Backtracking)라는 외부 컨트롤러를 개발했어요.

MGT-B는 불확실성 및 퇴화 특징을 기반으로 토큰 상태를 복구하고 제약 조건 하에 재-디코딩을 수행하며, 알람 발생 시 롤백 지점을 추정해요.

MATH-500 설정에서 선택적 모니터링 및 복구 메커니즘을 통해 정확도가 4.5% 향상되었으며, 151개의 경고 트래커리 중 29개의 오류를 수정하고 8개의 회귀를 수정했어요.

##LLM##추론##양자화##모니터링##재-디코딩
매일 핵심 AI 소식을 한국어로, 빠르게
App Store 에서 Pulse 받기 앱에서 열기