Snowflake AI Research에서 발표한 'Ulysses 시퀀스 병렬 처리(SP)'는 긴 시퀀스 학습 시 발생하는 메모리 문제를 해결하는 새로운 기술입니다.
Ulysses는 어텐션 헤드를 GPU에 분산시켜 시퀀스를 여러 GPU에 분산 처리하며, 기존 Ring Attention 방식보다 통신 오버헤드가 적고 지연 시간이 짧습니다.
Snowflake AI는 Ulysses를 Hugging Face 생태계 전반에 걸쳐 통합하여 Accelerate, Transformers Trainer, TRL의 SFTTrainer 등에서 활용할 수 있도록 지원합니다.