연구진이 얼굴 표정에서 감정, 표정, 행동 단위(Action Unit)를 동시에 추정하는 다중 작업 학습 시스템 'AffectFlow-DINO'를 개발했어요. 이 시스템은 기존 모델에 조건부 정류 흐름(rectified flow) 방식을 추가해 불확실성을 고려한 예측을 가능하게 해요. 특히, 희귀한 감정(공포) 분류 정확도를 향상시키는 데 효과적이었어요.
연구진은 DINOv3 ViT-S/16 백본을 기반으로, 정류 흐름 디코딩이 감정(valence-arousal) 추정 성능을 향상시키는 것을 확인했어요. 11회 ABAW 챌린지에서 공식 기준 성능(0.45)을 크게 능가하는 성능(0.1177)을 달성했어요.
AffectFlow-DINO는 단일 감정 추정 대신 몬테카를로 샘플링을 통해 불확실성을 고려한 예측을 제공하며, 이는 실제 얼굴 표정의 모호성을 반영하는 데 기여해요.