Theoria는 AI 시스템 답변의 신뢰성을 검증하는 새로운 아키텍처입니다. 후보 솔루션을 타입화된 상태 변환 시퀀스로 재작성하고, 각 변환은 인용, 계산, 문제 사실과 같은 명시적 근거로 라이선스합니다. 모든 변환은 독립적으로 감사할 수 있습니다.
HLE-Verified Gold 데이터셋에서 Theoria는 91.4%의 엄격한 정밀도로 105개의 문제를 인증했으며, 각 인증은 사람이 읽을 수 있는 증거 추적을 생성합니다.
전체적인 LLM 판사는 유사한 정밀도를 달성하지만 다른 문제에서 실패하며, 두 접근 방식은 상호 보완적입니다.
95개의 적대적 독성화된 증명에서 구조화된 판사는 94.7%를 포착하여 83.2%보다 높았으며, 숨겨진 전제와 조작된 인용에서 큰 차이를 보였습니다.