연구진은 추론 비용이 높은 표 기반 모델(TFM)의 성능을 경량화된 모델로 옮기는 지식 증류 기법을 연구했어요. 환자 데이터 유출을 막기 위해 층화 교차 검증 방식으로 교사 모델을 학습했어요. 19개의 건강 관련 데이터셋에서 증류된 학생 모델은 교사 모델 성능의 90% 이상을 유지하며 추론 속도는 최대 26배 향상됐어요.
TFM의 예측 성능을 경량 모델로 옮기는 지식 증류가 건강 분야의 추론 제약 환경에서 활용 가능함을 입증했어요. 증류된 모델은 기존 모델보다 빠르면서도 정확도를 유지하며, 교사와 비슷한 수준의 공정성을 보장했어요. 여러 교사 모델을 사용하는 것보다 단일 교사 모델이 더 효과적인 경우도 있었어요.
연구 결과, 지식 증류는 TFM의 장점을 유지하면서도 추론 비용을 줄여 건강 관리 분야에 기여할 수 있는 실용적인 방법임을 보여줬어요.