연구진은 인간의 인지처럼 이해와 생성을 결합하는 인공 시스템을 개발하기 위해 Self-Correcting Coupled Markov Jump Processes (SC-CMJP) 프레임워크를 제안했어요.
SC-CMJP는 한 모달리티의 전환율이 다른 모달리티의 신뢰도에 따라 결정되고, 교차 모달리티 주의를 통해 조정되며, 오류를 감지하고 수정하는 재마스킹 점프를 포함해요.
연구진은 JEdit-1M, JMaze-200K, JNono-200K 세 개의 대규모 공동 다중 모드 생성 코퍼스를 만들고, CO_2Jump 샘플러를 통해 이미지 이해 및 편집, 시각적 추론 성능을 향상시켰어요.