연구진이 복잡한 규칙 기반 추론을 위한 DAR(Deontic Agentic Reasoning) 프레임워크를 발표했어요. DAR은 모델이 필요할 때마다 법규를 상호작용하며 추론을 수행하는 에이전트 기반 방식이에요. DeonticBench의 어려운 하위 집합에서 여러 환경에서 DAR을 평가한 결과, 에이전트 기반 방식이 의무 추론 성능을 향상시킬 수 있지만, 성능 향상이 균일하지 않다는 점이 확인됐어요.
저성능 모델은 수치 추론 작업에서 성능이 저하되고 토큰 소비량이 크게 증가하는 경향을 보였어요. DAR은 복잡한 규칙 기반 추론에 어려움을 겪는 LLM의 한계를 극복하기 위한 새로운 접근 방식이에요.
DAR은 모델이 법규를 상호작용하며 필요한 정보를 찾아 추론을 수행하는 방식으로, 기존 방식의 한계를 극복하고 의무 추론 성능을 향상시키는 데 기여할 수 있을 것으로 기대돼요.