UniTriGen은 텍스트 프롬프트를 활용하여 정렬된 VIS-IR-Label 3원소 데이터를 생성하는 프레임워크입니다. 기존 방식의 문제점을 해결하기 위해 공간적 정렬, 의미적 일관성, 모달리티 보완성을 동시에 고려합니다. 제한된 실제 데이터로 고품질 3원소 데이터를 생성하여 RGB-T 의미론적 분할 모델의 성능을 향상시킵니다.
UniTriGen은 VIS, IR, Label을 공유 잠재 공간에 통합하여 3원소 간의 글로벌 일관성을 유지하는 통합 생성 메커니즘을 도입합니다. 장면과 클래스 분포 불균형으로 인한 생성 편향을 완화하기 위해 장면 균형 및 클래스 인지형 소수 샘플링 전략을 사용합니다.
경량 모달리티별 잔차 어댑터는 각 모달리티의 특징과 출력 형식을 수용하기 위해 통합되어 있습니다. 실험 결과, UniTriGen은 다양한 RGB-T 의미론적 분할 모델에서 일관된 성능 향상을 달성했습니다.