연구진이 표 데이터와 이미지를 함께 활용하는 멀티모달 학습을 위한 TI-Adapter 프레임워크를 제안했어요. TI-Adapter는 표 데이터 인코더를 고정하고 어댑터를 학습하여 컴퓨팅 비용을 절감하면서도 성능을 유지해요. 20개의 표·이미지 데이터셋 실험 결과, 기존 방식보다 더 나은 예측 성능을 보여줬어요.
표 데이터 인코더는 고정하고 이미지 브랜치는 어댑터로만 학습하여 전체 파라미터 수를 크게 줄였어요. 어댑터 배치 위치에 따라 성능과 효율성을 조절할 수 있다는 점도 확인했어요.
TI-Adapter는 기존 방식 대비 경쟁력 있는 성능을 보이면서도 학습 파라미터 수를 크게 줄여 효율성을 높였어요.