Solar 팀이 10.7B 파라미터의 LLM인 SOLAR-10.7B를 공개했어요. 이 모델은 30B 파라미터 이하 모델 중 최고 성능을 보여줘요. SOLAR-10.7B는 depth up-scaling(DUS)이라는 새로운 방법론을 통해 만들어졌으며, Mistral 7B 가중치를 활용하고 추가 사전 훈련을 거쳤어요. Solar 팀은 데이터 오염 문제를 해결하기 위해 벤치마크 관련 데이터셋을 훈련에서 제외하고, 필터링 작업을 수행했어요.