연구진은 LLM이 질문 표현이 바뀌면 스스로 모순되는 현상을 평가하는 CRTBench 벤치마크를 공개했어요. 350개 질문 패밀리(총 1,750개 질문)로 구성되어 있으며, 대립명제 재작성, 이중 부정, 부정 전환, 수동태 변환 등을 포함합니다.
GPT-5.4-mini는 기본 정확도가 98.9%이지만, 질문 패밀리 수준의 일관성은 60.3%에 불과한 반면, 추론 최적화된 o4-mini는 96.9%의 일관성을 보였어요.
대립명제 재작성(72.4%)이나 이중 부정(84.6%)과 같은 논리적으로 중요하지 않은 변환에서 실패하는 경향이 있으며, 추론 노력을 높이면 GPT-5.4-mini의 일관성이 85.4%까지 향상되지만 GPT-5.4는 변하지 않았어요.