연구진이 Transformer 모델을 하이브리드 어텐션 모델로 변환하는 새로운 방법 'FlashMorph'를 제안했어요. FlashMorph는 합성 데이터에서 레이어 게이트를 최적화하여 풀 어텐션 레이어를 선택하고, 선형 어텐션 의존성을 장려하는 정규화를 사용해요. 실험 결과, FlashMorph는 기존 방법보다 효율적인 하이브리드 구성을 찾아 장기 컨텍스트 기억력과 성능을 유지하면서 레이어 선택 비용을 절감했어요.