연구진은 단백질 언어 모델(PLM)의 설계 가능성을 유지하면서 여러 선호도 목표를 균형 있게 맞출 수 있는 ProteinOPD 프레임워크를 제안했어요.
ProteinOPD는 On-Policy Distillation(OPD)에서 영감을 받아 사전 학습된 PLM을 선호도별 교사 모델로 활용하고, 학생 모델을 통해 토큰 수준의 OPD를 진행해요.
실험 결과, ProteinOPD는 목표 선호도 목표에 상당한 성과를 거두었으며, RL 기반 정렬 경쟁자보다 8배 빠른 학습 속도를 보였어요.