서버 슬립 시 MTP 모델의 VRAM 누수 문제를 해결하는 b9274 업데이트가 적용됐습니다. 기존에는 모델과 컨텍스트만 초기화되어 speculative decoder, draft 컨텍스트, draft 모델의 GPU 자원이 해제되지 않았습니다.
b9274 업데이트는 destroy() 함수에서 spec, ctx_dft, model_dft를 명시적으로 초기화하여 VRAM 누수 문제를 해결합니다. 슬립/복원 주기마다 새로운 자원이 할당되면서 기존 자원이 해제되지 않아 발생하는 메모리 부족 오류를 방지합니다.
이 문제는 Reddit 사용자 Bulky-Priority6824가 발견하고 보고했으며, 서버 안정성 향상에 기여할 것으로 예상됩니다.