연구진은 단백질 언어 모델의 성능을 높이기 위해 잠재 변수 예측(JEPA)을 활용하는 방법을 연구했습니다. 실험 결과, 마스크된 위치에서만 잠재 변수를 예측하고 기존 마스크 언어 모델링(MLM)을 결합하는 방식이 가장 효과적임을 확인했습니다. 이 방식은 16가지 downstream 작업에서 MLM만 사용하는 방식보다 더 나은 성능을 보였습니다.
마스크된 위치에서만 잠재 변수를 예측하는 방식(masked-position MLM+JEPA)은 기존 방식과 동일한 시간 내에 11개의 작업에서 더 나은 결과를 얻었으며, 순수한 JEPA만 사용하는 방식은 대부분의 실험에서 성능이 저하되었습니다. 특히 안정성, β-락타마제 적합성, 변이 효과 등 다양한 작업에서 성능 향상을 보였습니다.
연구진은 JEPA를 MLM과 결합하면 동일한 시간 내에 순수한 MLM보다 경쟁력 있는 성능을 낼 수 있으며, 지속적인 훈련에서도 더 나은 결과를 얻을 수 있다고 결론지었습니다.