연구진은 LLM이 텍스트와 코드를 편집할 때 전체 출력을 자동 회귀적으로 재생성하는데, 이는 입력과 동일한 토큰이 대부분 포함되는 경우에도 발생합니다.
Copy-as-Decode는 편집 생성을 구조화된 디코딩으로 재구성하는 디코딩 레이어 메커니즘으로, 입력 라인 범위를 참조하고 새로운 콘텐츠를 방출하는 두 가지 원시 문법을 사용합니다.
토큰 수준의 FSM은 구문적 유효성을 보장하며, 서비스 레이어 원시 기능은 각 복사 범위에 대해 N개의 자동 회귀 단계 대신 단일 병렬 프리필 포워드를 통해 KV 캐시를 업데이트합니다.