AI 모델의 성능은 정확도, 처리량, 효율성 세 가지 차원으로 결정돼요. 모델 설계 단계부터 하드웨어 제약을 고려하면 성능을 극대화할 수 있어요. 새로운 공동 설계 방법론은 기존 방식 대비 처리량을 2배 향상시키는 결과를 보여줬어요.
연구팀은 모델 구조, 양자화, 컴파일러 최적화 등 다양한 요소를 통합적으로 고려하는 새로운 공동 설계 방법론을 제시했어요. 이 방법론은 하드웨어 제약을 고려해 모델을 설계함으로써 성능을 최적화하는 것을 목표로 해요.
새로운 방법론을 적용한 모델은 기존 방식 대비 최대 2배의 처리량 향상을 보였으며, 이는 AI 추론 속도를 획기적으로 개선할 수 있음을 시사해요.