연구진은 확산 언어 모델(DLM)이 내부적으로 시간 단계를 나타내는 잠재적 표현을 가지고 있음을 밝혔습니다. 이 표현은 모델의 잔류 스트림에서 추출 가능하며, 모델의 신뢰도와 엔트로피를 조절하는 데 사용될 수 있습니다. 연구 결과는 DLM이 노이즈 제거 과정을 어떻게 처리하는지에 대한 통찰력을 제공합니다.
DLM의 내부 활성화에서 노이즈 제거 진행 상황을 디코딩할 수 있다는 사실이 확인됐습니다. 이는 DLM이 명시적으로 시간 단계에 조건부로 설정되지 않더라도, 내부적으로 시간 정보를 표현하고 활용한다는 것을 의미합니다.
연구진은 잠재적 시간 표현과 관련된 저차원 부분 공간을 따라 모델을 조종함으로써 모델의 신뢰도와 엔트로피를 예측 가능하게 변화시킬 수 있음을 보여주었습니다.