본 연구는 시각 변환기(ViT)의 연산 비용, 메모리 요구량, 에너지 소비 문제를 해결하기 위해 아키텍처, 토큰, 비트폭 세 가지 축을 동시에 최적화하는 프레임워크를 제시합니다.
AutoFormer를 활용한 컴팩트한 백본 검색, ToMe를 통한 토큰 병합, fp16 혼합 정밀도 추론을 통해 ViT의 효율성을 높였으며, 이를 통해 처리량은 10배 이상 향상, 파라미터 수는 10배 이상 감소했습니다.
실제 반도체 IC 칩 포장 검사 데이터셋에서 10배 이상의 처리량 향상과 함께 필요한 정확도를 유지하며 에너지 소비량도 크게 줄였습니다.