업스테이지에서 LLaMA-2를 기반으로 한 SOLAR-0-70b-8bit 모델을 공개했어요. 이 모델은 8비트 양자화 버전으로, 더 낮은 하드웨어에서도 활용할 수 있도록 제작됐어요.
모델은 Orca 스타일 및 Alpaca 스타일 데이터셋을 활용해 학습되었으며, 최대 10,000개 이상의 토큰 입력을 처리할 수 있는 특징을 가지고 있어요.
SOLAR-0-70b-8bit는 ARC-Challenge, HellaSwag, MMLU, TruthfulQA 등 다양한 벤치마크 데이터셋에 대한 성능 평가를 거쳤으며, MT-bench를 통해 다중 턴 대화 능력도 평가했어요.