연구진은 지속적인 사전 훈련과 병합을 통해 의료 분야의 특화된 모델과 범용 모델 간의 성능 격차를 줄이는 방법을 제시했어요.
독일어 의료 코퍼스(FineMed-de)를 구축하여 70억에서 240억 파라미터 규모의 LLM을 지속적으로 사전 훈련하고 병합하여 DeFineMed 모델 패밀리를 만들었어요.
특화된 70억 모델이 독일어 의료 벤치마크에서 상당한 성능 향상을 보였으며, Qwen2.5 기반 모델은 Mistral-Small-24B-Instruct 모델보다 약 3.5배 더 높은 승률을 기록했어요.