Pocket Foundation Models 연구팀은 사기 점수 모델의 빠른 응답 속도(2ms) 요구사항을 충족하기 위해 TFM(Tabular Foundation Models)을 CPU에서 실행 가능한 XGBoost 또는 CatBoost 모델로 증류하는 방법을 제시했어요.
Stratified out-of-fold (OOF) 방식의 teacher labeling을 통해 TFM의 label leakage 문제를 해결하고, TabICLv2를 XGBoost로 증류하여 CPU에서 1.9ms의 응답 속도를 달성하며 기존 CatBoost 모델보다 통계적으로 유의미한 성능 향상을 보였어요.
연구 결과, teacher 모델의 성능 순위가 student 모델로 정확히 전달되며, 저차원 데이터에서 성능 향상이 집중되고, 멀티 teacher averaging은 MLP student 모델에 도움이 된다는 점을 확인했어요.