Dooly는 LLM 추론 구성 요소를 탐색하는 데 드는 비용을 줄이기 위해 개발된 새로운 프로파일링 도구입니다. 기존 방식은 특정 구성에 맞춰 작동하며 모든 연산을 처음부터 프로파일링하는 반면, Dooly는 구조적 이해를 바탕으로 불필요한 프로파일링을 줄입니다.
Dooly는 단일 추론 패스를 통해 입력 차원을 추적하고, 기존 데이터베이스에 없는 연산만 프로파일링하며, 상태 기반 연산은 서빙 엔진의 초기화 코드를 재사용하여 수동 계측을 피합니다.
두 GPU 플랫폼, 세 가지 어텐션 백엔드, 다양한 모델 아키텍처에서 Dooly는 기존 방식 대비 GPU-시간을 56.4% 단축하고 시뮬레이션 정확도를 5% MAPE (TTFT) 및 8% (TPOT) 이내로 유지했습니다.