연구진은 시퀀스 데이터의 다음 요소를 예측하는 데 새로운 기록을 세운 Sparse Transformer를 개발했어요. 이 모델은 어텐션 메커니즘의 알고리즘 개선을 통해 기존보다 30배 더 긴 시퀀스에서 패턴을 추출할 수 있어요. 텍스트, 이미지, 음성 등 다양한 유형의 시퀀스 데이터에 적용 가능하며, 새로운 가능성을 제시하고 있어요.