연구진은 Dual Attention Residuals (DAR)를 제안하며, 다중 스트림 상호작용을 통해 역사적 검색을 개선했어요. DAR은 서로 다른 스트림 간의 정보를 교환하여 깊이 선택에 영향을 주고, 검증 손실을 개선해요. 0.1B~1B 파라미터의 밀집 모델과 7B sparse-MoE 모델에서 DAR은 기존 방식보다 성능이 우수했어요. 스트림 추가나 값 투영만으로는 이러한 성능 향상을 설명할 수 없어요.