연구진은 ELF와 같은 연속 디퓨전 언어 모델의 기록적인 낮은 생성 퍼플렉시티(Gen-PPL)에 주목했어요. 하지만 이 모델들은 인간의 텍스트보다 훨씬 더 많은 반복을 보이며, Gen-PPL은 이를 품질 향상으로 잘못 인식한다는 사실이 밝혀졌어요.
반복을 제거했을 때 ELF-B의 Gen-PPL은 19.5에서 27.7로 상승했으며, 가장 작은 모델은 가장 많은 반복을 하기 때문에 최고의 Gen-PPL을 기록했어요. 이러한 반복은 자기 조건화 피드백 루프의 단일 방향으로 인한 인력 때문인 것으로 분석됐어요.
ACE(Attractor-Contrast-Escape)라는 일차원적인 수정 방법을 통해 반복을 줄이고 품질을 유지했으며, 이 방법은 다른 모델과 샘플러에서도 효과적으로 적용될 수 있었고, 인간 수준의 텍스트를 생성하는 데 필요한 컴퓨팅 비용을 줄이는 데 도움이 됐어요.