Pulse · AI 뉴스

DominoTree: 추론 가속을 위한 조건부 트리 구조 드래프트 기법

DominoTree · 2026-07-10

연구진이 Domino 드래프터의 조건부 교정 기능을 활용한 새로운 추론 가속 기법 DominoTree를 발표했어요.

DominoTree는 Qwen3-4B 모델에서 autoregressive decoding 대비 최대 6.6배 빠른 속도를 보이며, 다른 기법 대비 가장 긴 수용 길이를 기록했어요 (최대 10.7 토큰).

DominoTree는 GPU 친화적인 CUDA 그래프 빌더를 사용하여 구현되었으며, 기존 Domino 디코더보다 높은 처리량을 제공하며 DDTree/CaDDTree보다 우수한 성능을 보여줘요.

Qwen3-8B 모델에서 DominoTree는 모든 온도에서 가장 긴 수용 길이를 유지하며, DDTree 대비 +24%의 처리량 향상을 달성했어요.

##LLM##추론가속##DominoTree##Qwen
매일 핵심 AI 소식을 한국어로, 빠르게
App Store 에서 Pulse 받기 앱에서 열기