연구진은 이미지넷 학습 시 30% FLOPs 감소 효과를 보이는 RBDC(Recursive Block-Diagonal Coupling)라는 새로운 학습 프로토콜을 제안했어요. RBDC는 블록 대각 방식으로 더 좁은 모델을 결합하여 넓은 모델을 구축하며, 학습 예산을 유연하게 배분할 수 있어요. 비전 트랜스포머(DeiT)와 컨볼루션 네트워크(ResNet)에서 기존 방식보다 효율적인 성능을 보여줬어요.
RBDC는 기존 모델 성장 방식의 한계를 극복하고, 전체 파이프라인의 실제 계산 비용을 정확하게 반영하는 것을 목표로 해요. 독립적으로 학습된 좁은 모델들을 블록 대각 방식으로 결합하여 유연하게 학습 예산을 배분하는 방식이에요. 이는 기존 방식이 좁은 모델의 가용성을 전제로 하는 것과 차이가 있어요.
RBDC로 학습된 모델은 객체 탐지 및 인스턴스 분할과 같은 다운스트림 작업에서 기존 모델보다 더 나은 성능을 발휘했어요. 이는 RBDC가 비전 모델 학습 효율성을 높이는 데 기여한다는 것을 의미하며, 향후 더 큰 모델 학습에 활용될 가능성이 높아요.