연구진은 순차적 정보 처리 과정에서 발생하는 우선 효과, 앵커링, 순서 의존성과 같은 인지적 편향이 원인적 마스킹 제약으로 인해 오토 회귀 언어 모델의 구조적 필요조건임을 증명했습니다.
세 가지 불가능성 정리를 통해 우선 편향은 비대칭적 주의력 축적에서, 앵커링은 순차적 조건부 학습에서 발생하며, 정확한 편향 해소는 요인 시간 계산을 요구한다는 것을 밝혔습니다.
12개의 최첨단 LLM을 대상으로 검증한 결과, $R^2$ 값이 0.89, $Δ$BIC 값이 16.6으로 나타났으며, 인간 실험을 통해 앵커 위치가 앵커링 크기를 조절하고, 작업 기억 부하가 우선 편향을 증폭시킨다는 사실을 확인했습니다.