연구진은 WARP라는 새로운 프레임워크를 개발하여 공개된 모델의 학습 데이터 배합 비율을 가중치 공간에서 복구합니다. 모델 병합을 통해 학습 과정을 추정하고, 가중치 공간에 학습 데이터의 지오메트릭한 흔적을 드러냅니다.
WARP는 BERT와 GPT-2 모델에서 평균 MAE가 각각 0.046과 0.104로 학습 데이터 배합 비율을 복구하여, 기존 방식보다 뛰어난 성능을 보였습니다.
이 기술은 모델 연구자와 학습 데이터에 대한 접근성 격차를 줄이고, 모델의 동작 방식에 대한 이해를 높이는 데 기여할 수 있습니다.