연구진은 언어 모델이 반복적인 개념 분석 및 수정 과정을 통해 철학적 추론을 수행할 수 있는지 조사했습니다. 20개의 개념에 대해 수천 번의 반례-수정 사이클을 거쳤으며, 모델이 생성한 반례 중 상당수는 전문가와 언어 모델 모두가 유효하지 않은 것으로 판단했습니다. 반복적인 과정은 정의를 점점 더 장황하게 만들지만 정확성을 향상시키지는 못했습니다.
전문가와 언어 모델 간의 반례 유효성 판단은 어느 정도 일관성을 보였지만, 언어 모델은 인간보다 두 배 가까이 많은 반례를 수용한 것으로 나타났습니다. 일부 개념은 안정적인 정의를 내리기 어려워 일반적인 한계를 드러냈습니다.
이 연구는 언어 모델이 철학적 추론에 참여할 수 있지만, 반복적인 반례-수정 루프는 빠르게 효과가 감소하며 고차원적 철학적 추론을 지속할 수 있는지 평가하는 데 유용한 테스트 사례가 될 수 있음을 시사합니다.