텐센트 Hunyuan 팀에서 1.8B 파라미터의 초소형 번역 모델 'Hy-MT1.5-1.8B-1.25bit'을 공개했어요. 이 모델은 33개 언어와 5개 방언/소수 언어를 지원하며, 1,056개의 번역 방향을 제공해요.
Sherry라는 새로운 1.25비트 양자화 기술을 적용하여 모델 크기를 440MB로 줄였으며, 기존 대형 모델이나 상용 번역 API보다 뛰어난 성능을 보여요.
모델의 핵심은 MT 지향 사전 훈련, 지도 학습, 온폴리시 증류, 강화 학습 등 다단계 훈련 파이프라인을 통합하여 개발되었으며, 관련 자료는 AngelSlim과 HY-MT GitHub 저장소에서 확인할 수 있어요.