연구진은 의료 영상 추론의 어려움을 해결하기 위해 ViToS라는 이중 스트림 강화 학습 프레임워크를 제안했어요. ViToS는 시각적 토큰을 선택적으로 가공하여 질문 답변 성능을 향상시키고, 의료 영상 추론에 필요한 토큰을 77%까지 줄여요.
ViToS는 시각적 토큰 가공과 질문 답변을 위한 두 가지 정책 모델을 활용하며, 교차 피드백 순차 최적화를 통해 학습 문제를 해결했어요.
Lingshu-7B와 HuatuoGPT-Vision-7B 벤치마크에서 각각 108.27%, 104.16%의 성능 향상을 달성하며, 추론 속도 또한 개선되었어요.