최근 LLM 발전으로 유전 서열 연구 기회가 늘었어요. DNABERT2, ConvNova 등 다양한 모델이 있지만 성능 비교는 부족해요. 트랜스포머 기반 모델은 사전 훈련에 비용이 많이 들기 때문에 성능 향상이 그만한 가치가 있는지 평가가 필요해요.
사전 훈련이 미세 조정 작업에서 얼마나 기여하는지, 그리고 BPE 토큰화가 유전체 관련 작업에 미치는 영향도 살펴봤어요. 트랜스포머 기반 모델이 사전 훈련을 거치면 성능이 향상되는지 확인했어요.
연구 결과, 사전 훈련이 미세 조정 작업에서 큰 성능 향상을 가져오지 않는다는 것을 확인했어요. BPE 토큰화 방식이 유전 서열 표현에 적합한지 검토했어요.