연구진은 LLM의 기반 아키텍처인 인코더-디코더 트랜스포머에 대한 새로운 논리적 특징을 제시했어요. 새로운 시공간 논리는 인코더 입력에 대한 개별 모달리티와 디코더 입력에 대한 과거 모달리티를 확장하여 부동소수점 연산과 소프트 어텐션 환경에서 트랜스포머를 특징짓습니다. 연구 결과는 아키텍처의 특정 선택에 국한되지 않으며 마스킹과 같은 변경 사항도 설명할 수 있습니다.