연구진은 여러 독립적인 시퀀스를 동시에 디코딩하는 작업의 효율성을 높이는 새로운 디코딩 알고리즘인 Hyper-Parallel Decoding (HPD)을 개발했어요.
HPD는 공유 메모리와 계산을 활용하여 배치 간 병렬 처리를 가능하게 하고, 토큰 생성 속도를 향상시켜 추론 비용과 시간을 최대 13.8배까지 줄여요.
속성 값 추출(AVE) 작업에 적용되었지만, HPD는 특정 도메인에 대한 제약 없이 독립적인 출력 구조를 가진 다른 시나리오에도 적용될 수 있어요.