Google이 TPU (Tensor Processing Unit)에서 LLM (Large Language Model) 추론 속도를 최대 3배까지 향상시키는 새로운 기법을 개발했어요. 디퓨전 모델에서 영감을 받은 추론 예측 기법을 활용하여 LLM의 응답 속도를 크게 개선하고, 특히 긴 시퀀스에서 효과적이라고 합니다. 이 기술은 Google의 다양한 LLM 서비스에 적용될 예정이며