연구진은 디퓨전 LLM의 전역 컨텍스트 모델링 능력을 활용하지 못하는 기존 디코딩 전략의 한계를 지적하고, 핵심 정보 밀도가 높은 토큰(HD 토큰)에 주목했습니다.
새롭게 제시된 FoCore(Focus on the Core) 전략은 HD 토큰을 자체 대비 방식으로 활용하여 생성 과정을 안내하며, HD 토큰의 빠른 수렴 현상을 활용합니다.
HumanEval 벤치마크에서 FoCore는 pass@1을 39.02에서 42.68로 향상시켰고, FoCore-A는 디코딩 단계를 2.07배 줄이고 샘플당 지연 시간을 58.4% 단축했습니다.