Mobius Learning은 트랜스포머 블록의 순환 깊이 폴딩을 기반으로 하는 새로운 학습 아키텍처입니다. 이 아키텍처는 데이터 스트림이 순환적으로 이동된 블록 순서를 따르며, 블록 그룹이 얕은 역할과 깊은 역할을 동시에 수행하도록 합니다.
GPT-2 small 모델을 사용하여 실험한 결과, Mobius Learning은 기존 트랜스포머보다 낮은 검증 손실을 달성했습니다. 이는 블록 그룹이 블록 순서 내에서 고정된 역할에 갇히지 않아도 된다는 것을 보여줍니다.
Mobius Learning은 메모리 제약이 있는 분산 학습에 특히 적합하며, 원시 학습 데이터는 로컬에 보관되고 각 워커는 전체 트랜스포머 블록 스택 대신 하나의 블록 그룹을 저장합니다.