연구진이 제한된 환경에서 효율적인 추론을 위해 설계된 27억 파라미터 독일어 언어 모델 ELMOD을 공개했어요. 공개 데이터만 활용해 55,000시간의 H100 GPU로 학습했으며, 독일어 특화 데이터 전처리 기술을 적용했어요. ELMOD은 동일 크기 모델 중 가장 뛰어난 성능을 보이며, 70억 파라미터 모델과 비슷한 수준의 독일어 성능을 보여줘요.
데이터 품질 필터링 및 재구성 단계를 통해 학습 데이터의 품질을 높이고, 전체 컴퓨팅 요구 사항을 줄였어요. 특히 독일어의 형태 변화, 복합어, 철자법 규칙을 고려한 전처리 기술이 성능 향상에 기여했어요. ELMOD은 모바일 기기에서 효율적인 추론을 위해 설계됐어요.