연구진은 LLM의 추론 시간 스케일링에서 예산과 품질 간 균형을 맞추는 데 어려움을 겪고 있습니다. 기존 방법은 스케일링 폭과 깊이를 독립적으로 다루어 환각을 강화하거나 복잡한 추론 과정을 조기에 중단하는 문제를 안고 있습니다. 연구진은 이중 차원 일관성(DDC) 프레임워크를 제안하여 경로 품질과 적응적 종료를 연결합니다.
DDC는 신뢰도 가중 베이지안 프로토콜과 트렌드 인식 계층적 가지치기를 결합하여 고품질 추론 경로에 컴퓨팅 자원을 집중하고 환각을 필터링하며 합의를 가속화합니다. 연구 결과, DDC는 10배 이상의 토큰 소비량을 줄이면서 다양한 LLM에서 정확도를 유지하거나 능가하는 것으로 나타났습니다.
DDC는 LLM 추론 효율성을 높이는 새로운 접근 방식으로, 예산과 품질 사이의 균형을 맞추는 데 기여할 것으로 기대됩니다.