FormalRx는 자동 형식화 과정의 오류 원인을 진단하고 개선할 수 있도록 돕는 프레임워크입니다. SCI 오류 분류 체계를 통해 오류를 28가지 세부 항목으로 분류하고, 오류 위치 파악 및 수정 기능을 제공합니다. FormalRx-8B 모델은 기존 LLM 및 전문 모델보다 높은 성능을 보이며, 자동 형식화 시스템의 진단 및 개선에 기여할 것으로 기대됩니다.
FormalRx는 NL-FL 데이터셋 56,287개를 활용하여 학습된 FormalRx-8B 모델과 FormalRx-Test 벤치마크를 공개했습니다. 이 모델은 오류 판단 정확도 88%, 오류 분류 F1 점수 71%를 기록하며, 오류 위치 파악 및 수정 정확도도 높습니다.
FormalRx는 자동 형식화 평가를 블랙박스 판단에서 실행 가능한 피드백으로 전환하여, 인간의 이해를 높이고 자동 시스템 개선을 가능하게 합니다.