Sapient Intelligence가 계층적 추론 모델 HRM-Text 1B를 공개했어요. 이 모델은 MATH 및 DROP 벤치마크에서 Llama3.2 3B 모델을 능가하는 성능을 보여요. 40B 토큰으로 학습되었으며, 약 1000달러의 예산으로 제작되었어요.
HRM-Text 1B는 MATH에서 56.2%, DROP에서 82.2%의 정확도를 기록하며, 기존 모델 대비 뛰어난 추론 능력을 입증했어요. 다만 MMLU 벤치마크에서는 다른 모델에 비해 다소 뒤쳐지는 모습을 보여요.
Sapient Intelligence는 이 모델의 성능에 대한 독립적인 평가를 기다 중이며, 테스트 데이터 오염 가능성에 대한 우려도 제기했어요. GitHub 및 Hugging Face에서 모델을 다운로드할 수 있어요.