연구진이 Llama-3.1-70B-Instruct 모델에서 특정 길이의 문장 작성, DNA 서열 종료, ASCII 표 형식화 등 토큰 개수를 추적하는 '카운트다운 서브회로'를 발견했어요.
이 서브회로가 목표 길이와 현재 위치를 비교하며 남은 시간을 추정하며, 다른 LLM과도 공유되는 동일한 모티프를 사용한다는 사실이 밝혀졌어요.
자연어 데이터셋에서 서브회로가 사용되는 다양한 작업을 무작위로 탐색한 결과, 문맥에서 목표 길이를 추론하는 작업에도 활용되는 것으로 나타났어요.