FedLAB은 연합 학습 환경에서 멀티모달 그래프 지식을 유형별 계층 구조 코드북으로 구성하는 프레임워크입니다. 각 코드북은 모달 증거, 노드 의미론, 토폴로지 컨텍스트를 추적합니다. FedLAB은 원시 멀티모달 콘텐츠와 그래프 구조를 로컬에 유지하면서 연합 의미론적 중심점 사전 훈련을 통해 이러한 추적 단위를 개선합니다.
10개 벤치마크와 6가지 다운스트림 작업에서 실험 결과, FedLAB은 기존 방식보다 최대 7.53% 성능이 향상되었습니다. 이는 데이터 개인 정보 보호 제약 조건 하에서 멀티모달 그래프 지식을 학습하는 데 효과적인 방법임을 보여줍니다.
FedLAB은 모달 증거, 노드 의미론, 토폴로지 컨텍스트가 예측을 어떻게 지원하는지 명확하게 보여주는 추적 인터페이스를 제공하여 기존 방식의 한계를 극복합니다.