연구에 따르면 LLM은 그래프 탐색 알고리즘을 추상적으로 설명하는 기능적 기호 표현을 통합해 강력한 추론 성능을 낼 수 있어요.
이번 연구는 LLM이 제한된 예시만으로 각 추론 단계의 의미와 전체 알고리즘을 어떻게 이해하는지 밝히는 데 목표를 두고, 주의 집중 영역을 분석하고 정보 전달 방식을 규명했어요.
연구 결과, LLM은 사실과 규칙 기반 정보를 개별 하위 추론 작업에 활용하는 특화된 주의 집중 영역을 사용하며, 상위 계층은 여러 중간 추론 단계를 조정하는 글로벌 추론 전략을 이끌어내요.