연구진은 LLM 정렬에 성공적인 Direct Preference Optimization (DPO) 기법을 확산 및 플로우 매칭 생성 모델에 적용하기 위해 Linear-DPO를 제안했어요. 기존 DPO 방식의 한계를 극복하기 위해 통일된 역시간 SDE 프레임워크 기반의 일반화된 DPO 목적 함수를 도출하고, 선형 유틸리티 함수와 EMA 업데이트된 참조 모델을 도입했어요.
Linear-DPO는 SD1.5, SDXL (확산 모델) 및 SD3-Medium (플로우 매칭 모델)에 대한 실험에서 기존 방식보다 우수한 성능을 보여줬어요. 특히, 기존 방식의 비효율적인 시그모이드 기반 유틸리티 함수를 개선하여 이미지 생성 품질을 향상시켰어요.
이번 연구는 텍스트-이미지 생성 분야에서 DPO 기법의 활용 가능성을 높이고, 더욱 효율적인 이미지 생성 모델 개발에 기여할 것으로 기대돼요.