STRIDE는 LLM의 예측을 학습 데이터에 연결하는 기술입니다. 기존 방식은 파라미터 변화를 추적했지만, 계산 비용이 높고 정확도가 떨어졌습니다. STRIDE는 활성화 공간에서 학습 데이터의 기능적 효과를 모델링하여, 테스트 예측을 교란시키는 '조향 연산자'를 학습합니다.
조향 연산자를 통해 테스트 예측을 교란시켜 개별 학습 데이터의 영향력을 복구하며, 기존 방식보다 13배 빠른 속도를 자랑합니다. LLM 사전 훈련 기여도 추적에서 최고 성능을 달성했습니다.
데이터 선택, 데이터 오염, 질적 분석 등 다양한 분야에서 실용성을 검증했습니다.