연구진은 LLM 강화 학습(RL)을 위한 데이터 엔지니어링 프레임워크 SAERL을 제안했어요. SAERL은 희소 오토인코더(SAE)를 활용해 모델 내부에서 다양성, 난이도, 품질의 세 가지 데이터 특성을 추출해요.
SAE 공간 클러스터링, 난이도 프록시, 품질 프로브를 통해 데이터 다양성 제어, 난이도 기반 커리큘럼, 데이터 필터링을 수행하며, Qwen2.5-Math-1.5B 모델에서 평균 정확도를 3.00% 향상시켰어요.
SAE는 모델 패밀리 및 규모에 따라 효과적으로 전이되어, 가볍고 재사용 가능한 데이터 엔지니어링 도구로 활용될 수 있음을 보여줬어요.