본 연구는 대규모 언어 모델(LLM) 추론을 가속화하는 추론적 디코딩 방식에서, 작업의 인지적 특성이 수용 확률에 미치는 영향을 실증적으로 분석합니다.
코드 생성, 수학적 추론, 논리적 추론, 자유형상 대화 등 4가지 NLP 벤치마크 도메인을 대상으로 TinyLlama-1.1B를 초안 모델, Llama-2-7B-Chat-GPTQ를 대상 모델로 사용했습니다.
연구 결과, 작업 유형이 트리 깊이보다 수용 확률을 더 강력하게 예측하며, 대화 도메인에서만 1토큰 이상의 예상 수용 길이가 지속적으로 나타나는 것을 확인했습니다.