연구진은 LLM의 추론 능력 평가를 위한 새로운 프레임워크 '엘렌코스(Elenchos)'를 소개했어요. 엘렌코스는 LLM이 관찰된 행동을 설명하는 잠재적 가설을 추론하는 능력을 측정하는 방식으로, 변형된 시스템의 규칙을 파악하는 구조적 역문제로 정의돼요.
최첨단 및 중간 수준 LLM을 평가한 결과, 시스템 변경을 인식하는 데는 능숙하지만, 관찰된 차이를 유발하는 잠재적 변형을 식별하는 데 어려움을 겪는 '감지-귀속 분리' 현상이 나타났어요.
상호 작용하는 변형의 경우, LLM은 종종 근본적인 변형의 일부만 복구하며, 더 많은 추론 시간을 할당해도 성능 개선 효과가 미미했어요.