연구진이 마스크 기반 확산 언어 모델(MDM)에서 기존의 위치-찾아-편집 방식의 적용 가능성을 조사했어요. MDM과 AR 모델 간의 지식 편집 위치가 유사하지만, 다중 토큰 편집 성능은 MDM에서 저하되는 경향을 보였어요. 연구진은 중간 상태에 대한 최적화를 통해 다중 토큰 편집 성능을 개선하는 방법을 제시했어요.
LLaDA, Dream (MDM)과 LLaMA, Qwen (ARM) 모델을 비교 분석한 결과, 지식 편집 위치는 모델 구조에 관계없이 유사하게 나타났어요. 하지만 MDM은 다중 토큰 편집 시 AR 모델보다 성능 저하가 두드러졌는데, 이는 중간 상태에 대한 최적화 부족에서 비롯된 것으로 분석되었어요.
연구진은 중간 상태에 대한 최적화 기법을 도입하여 MDM의 다중 토큰 편집 성능을 크게 향상시켰으며, 이는 MDM 기반 지식 편집의 가능성을 보여주는 중요한 결과라고 평가할 수 있어요.