NAVIRA는 마스크 확산 언어 모델의 텍스트 생성 과정에서 오류를 수정하는 새로운 방법입니다. 기존 방식의 결합된 예측 방식을 분리하여 품질이 낮은 토큰을 확률적으로 재마스킹합니다.
NAVIRA는 첫 번째 패스에서 토큰 품질을 평가하고, 선택된 토큰을 마스크한 후 두 번째 패스에서 재생성하는 방식으로 작동합니다. 온도 조절 리마스킹은 반복적인 수정과 다양성 사이의 균형을 맞춥니다.
실험 결과, NAVIRA는 텍스트 생성의 유창성을 향상시키고 LLM 평가 점수를 높여 마스크 확산 모델의 신뢰성을 높이는 데 중요한 역할을 합니다.