연구진이 에고센트릭 비디오에서 양손 운동을 추정하는 새로운 프레임워크 StableHand를 제안했어요. 기존 방법은 손 운동 관찰의 신뢰도를 고려하지 않아 성능이 저하되는 문제를 겪었어요. StableHand는 손 관찰 품질을 4가지 채널로 분해하여 플로우 매칭 과정에 반영했어요. HOT3D 및 ARCTIC 벤치마크에서 기존 방식 대비 W-MPJPE를 20~25% 줄이는 성능 향상을 보였어요.
연구는 손이 카메라 시야에서 사라지거나 가려지는 문제를 해결하는 데 집중했어요. StableHand는 손 관찰 품질에 따라 플로우 매칭 스케줄, 속도 목표, ODE 초기화 등을 조정했어요. 이를 통해 고품질 관찰은 유지하고 신뢰성이 낮은 관찰은 학습된 양손 운동 사전 지식을 활용하여 재구성했어요.
StableHand는 손 관찰 품질을 나타내는 4가지 채널(양손의 손목 위치, 손가락 관절)을 예측하는 품질 네트워크를 활용했어요. AdaLN modulation을 통해 DiT denoiser에 품질 신호를 통합하여 관찰 품질에 따른 적응적인 처리가 가능하도록 설계되었어요.