DataOrchestra는 LLM 사전 훈련 데이터 처리 방식을 개선하는 프레임워크입니다. 각 예시에 맞춰 데이터 처리 방식을 결정하고, 삭제·수정·정제 등 다양한 작업을 자동화합니다. 0.5B~7B 모델을 DataOrchestra로 처리한 웹 데이터로 사전 훈련하여 11개 벤치마크에서 성능 향상을 확인했습니다.
DataOrchestra는 수학 데이터 사전 훈련에서도 기존 방식보다 뛰어난 성능을 보이며, 불필요한 작업을 건너뛰어 처리 비용을 절감합니다. LLM 기반 재작성 등 다양한 작업을 수행하며, 각 단계별 구체적인 지시를 생성합니다.