연구진은 트랜스포머의 연산 비용 문제를 해결하기 위한 희소 어텐션 기법인 AdaSplash-2를 새롭게 제안했습니다. AdaSplash-2는 히스토그램 기반 초기화를 통해 정규화 상수 계산 횟수를 줄여 기존 방식보다 연산 속도를 향상시켰습니다. AdaSplash-2는 긴 문맥에서 softmax 방식보다 성능 향상을 보였으며, 다운스트림 태스크에서도 우수한 결과를 나타냈습니다.