Anthropic 연구팀이 LLM 추론 속도를 높이는 '하드웨어 인식 동적 추론(DSD)' 기술을 발표했어요. 기존 추론 방식은 GPU의 메모리 대역폭과 연산 능력의 균형에 따라 속도가 제한됐어요. DSD는 GPU 활용도를 높이기 위해, 하드웨어 환경에 따라 추론에 사용되는 토큰 수를 조절하는 방식이에요.
DSD는 GPU가 메모리 대역폭에 제한될 때는 더 많은 토큰을, 연산 능력에 제한될 때는 더 적은 토큰을 사용해 효율성을 극대화해요. 특히 MoE 모델의 경우, 배치 크기에 따라 최적의 토큰 수가 달라지는 복잡한 패턴을 보인다고 설명해요.
연구팀은 DSD의 성능을 평가하기 위해 '수용 길이(AL)'와 '토큰 간 지연 시간(ITL)'을 활용한 '구드풋' 지표를 개발했어요. 이 지표를 통해 DSD가 다양한 하드웨어 환경에서 최적의 성능을 발휘하도록 조정할 수 있다고 밝혔어요.