연구진은 텍스트-이미지 Flow Matching 모델을 인간 선호도에 맞추기 위해 보상 역전파를 사용하는 방법을 연구했어요. 기존 방법의 한계인 전체 샘플링 경로 저장의 어려움과 Jacobian 곱셈 증가 문제를 해결하기 위해 Connector-based 방법과 유사한 새로운 프레임워크 FlowBP를 제안했어요.
FlowBP는 역방향 경로 자체를 설계 대상으로 보고, 샘플링을 위한 캐시된 경로를 유지하고, 가벼운 역방향 대리 경로를 구축하여 샘플링과 최적화의 분리를 가능하게 해요. 이를 통해 보상 모델 입력, 활성 집합, 적분 가중치, 브리지 커플링 등 4가지 요소를 제어할 수 있어요.
FlowBP-Sparse, FlowBP-Bridge, FlowBP-Lagrange 세 가지 변형을 구현하여 SD3.5-M, FLUX.1-dev, FLUX.2-Klein-base 모델에서 선호도, 품질, 조립 관련 지표에서 기존 방법보다 성능이 향상됨을 확인했어요.