다중 양식 LLM 학습의 주요 제약은 고품질의 연관 데이터 부족입니다. 연구에 따르면 사전 훈련된 모델의 공유 표현 공간이 다중 양식 학습을 지원할 수 있습니다. 하지만 양식 간 표현을 교환할 수 있는지에 대한 핵심 전제가 충분히 이해되지 않았습니다.
연구진은 양식 간 격차의 기하학적 구조를 재검토하여 양식 표현이 호환 가능한 의미 구조를 공유한다는 사실을 발견했습니다. 진정한 문제는 단순한 전반적인 이동이 아니라 소수의 주요 방향에 집중된 불균일 잔여 구조입니다.
연구진은 AnisoAlign 프레임워크를 제안하여 목표 양식 분포에 맞춰 불균일한 기하학적 수정을 수행하고 소스 양식 표현을 보존하여 대체 표현을 구축합니다.