연구진이 표와 텍스트를 결합한 금융 질문 응답을 위한 새로운 Distillation 기법을 개발했어요. 기존 방식의 자연어 설명 오류 문제를 해결하기 위해, 실행 검증된 Python 프로그램을 활용해 숫자 추론 능력을 학생 모델에 전달해요. Gold derivation을 활용해 교사 모델의 프로그램 합성을 안내하고, 정확한 실행 결과만 보존하여 고품질의 지도 학습을 제공해요.
TAT-QA 실험 결과, 7B 학생 모델이 72B 교사 모델(78.46 EM)을 능가하는 87.00 EM / 87.18 F1을 달성했어요. 기존 TAGOP, TAT-LLM 기반 모델보다 성능이 뛰어나, 실행 검증된 Programmatic Distillation이 신뢰성 있는 숫자 추론 능력 훈련에 효과적임을 입증했어요.