연구진이 입력 데이터에 따라 변하는 동적 짧은 컨볼루션(dynamic short convolutions)을 트랜스포머에 적용하는 방법을 제시했어요. 동적 컨볼루션은 기존 컨볼루션의 장점을 유지하면서 표현력을 높여 연관 기억 작업에서 성능을 향상시켰어요. 150만~20억 파라미터 규모의 언어 모델 실험에서 동적 컨볼루션은 표준 트랜스포머보다 우수한 성능을 보였고, 컴퓨팅 효율성도 높였어요.