연구진은 K-ABENA(K-Adaptive Backpropagation with Error-based N-exclusion Algorithm)라는 선택적 그래디언트 계산 프레임워크를 공개했어요. 이 프레임워크는 저손실 관측치를 역전파에서 제외하여 반복 훈련 비용을 줄여요.
K-ABENA의 표준형(v3)은 Horvitz-Thompson 역확률 재가중치를 사용하여 저손실 집합에 대한 방어적 혼합 샘플링 설계를 결합하며, 편향되지 않은 Horvitz-Thompson 그래디언트 추정기를 제공해요.
연구 결과, K-ABENA는 완전 배치 SGD와 통계적으로 구별되지 않으면서 에포크당 그래디언트 계산 비용을 28~54% 절약할 수 있으며, 실제 데이터셋에서 효과적인 성능을 보여줬어요.