연구진은 다층 트랜스포머의 이론적 이해 부족 문제를 해결하기 위해 InfoFlow 프레임워크를 제안했어요. 단층 트랜스포머와 달리 다층 트랜스포머는 특정 검색 작업에서 더 적은 파라미터로도 높은 정밀도를 달성할 수 있어요. InfoFlow는 각 토큰과 레이어에서 접근 가능한 입력 위치의 정보 집합을 추적하며, 정보 전파 모드별로 명시적인 근사율을 할당하는 방식으로 작동해요.