Piper는 분산 훈련 전략과 런타임 구현을 분리하는 새로운 시스템입니다. 사용자는 모델 주석과 스케줄링 지시문을 통해 분산 훈련 전략을 선언할 수 있습니다. Piper는 이 지시문을 기반으로 각 장치 실행 계획을 컴파일하고 실행합니다. DeepSeek-V3의 DualPipe와 같은 복합 병렬 전략에서 연산과 통신을 공동 스케줄링하여 성능과 메모리 효율성을 향상시켰습니다.
Piper의 핵심은 중간 표현(IR)이라는 통합된 글로벌 훈련 DAG로, 모든 연산과 통신을 나타냅니다. 이를 통해 다양한 병렬 전략을 쉽게 조합하고 최신 기술을 통합할 수 있습니다.
기존 시스템과 성능이 비슷하면서도 ZeRO와 같은 일반적인 전략에서 추가적인 성능 및 메모리 효율성 향상을 제공합니다.