Gemma 4 31B-IT 모델이 원자력 발전소 운영사 시험 합격 기준을 충족할 수 있는지 평가했어요. 원자력 지식을 활용하는 능력을 검증하기 위해 8가지 모델-검색 조합을 비교했죠.
지도 학습(SFT)과 검색 증강 생성(RAG)을 결합한 모델이 14개 시험 중 8개에서 합격 기준을 충족하며 가장 좋은 성과를 냈어요. 원본 모델만으로는 단 하나도 합격하지 못했죠.
전체 정확도는 79.7%로, 합격 기준을 약간 넘는 수준이었고, 특히 원자력 보일러(PWR) 관련 시험에서는 80.2%의 정확도를 기록했어요.