연구진은 기존 데이터 혼합 방식의 한계를 지적하며, 계층적 라벨링 서브스트레이트인 HERMES를 제안했어요. HERMES는 학습 기반 의미 변환과 3단계 잔차 벡터 양자화를 통해 문서에 계층적 코드를 부여하여 데이터 혼합의 유연성을 높여요.
HERMES는 기존 클러스터링 방식과 유사한 수준의 성능을 보이지만, 데이터 혼합 설계 방식을 고정된 라벨 집합 선택에서 재사용 가능한 계층 구조 탐색으로 전환하는 데 기여해요.
1B 파라미터, 25B 토큰 규모의 사전 학습에서 HERMES는 계층 구조가 고정된 파이프라인으로는 테스트할 수 없는 상호 작용을 드러내며, 특정 수준에서 성능을 향상시키는 규칙을 발견했어요.