AMD Versal AI Edge SoC를 위한 새로운 프레임워크 Tempus가 공개됐습니다. 이 프레임워크는 시간 기반 GEMM 스트리밍을 통해 자원 제약이 있는 엣지 환경에서 LLM 추론 성능을 향상시키는 데 목표를 둡니다.
Tempus는 16개의 AIE-ML 코어를 고정하고 반복적인 그래프 실행과 알고리즘 데이터 타일링 및 복제를 활용하여 607 GOPS를 달성하고 10.677W의 온칩 전력을 소비합니다.
기존 방식 대비 플랫폼 인식 유틸리티(PAU) 지표에서 211.2배 더 높은 성능을 보이며, URAM/DSP 활용률 0.00%, 코어 효율 22.0배, 전력 효율 7.1배, I/O 요구량 6.3배 감소를 기록했습니다.