연구진은 다양한 물리 현상을 동시에 학습하는 SciML 모델의 부정적 전이 문제를 해결하기 위해 Shodh-MoE라는 새로운 아키텍처를 제안했어요. Shodh-MoE는 희소 활성화된 잠재 트랜스포머 구조로, 물리 정보 인코더와 헬름홀츠 스타일 속도 파라미터화를 활용하여 정확한 질량 보존을 보장해요.
Top-1 소프트-시맨틱 라우터는 물리 현상에 따라 특화된 파라미터 경로를 생성하며, 보편적인 대칭성을 유지하기 위해 공유 전문가를 활용해요. 2만 단계의 분산 사전 훈련 결과, 검증 토큰이 자동으로 도메인별로 분기되는 현상이 관찰되었어요.
Shodh-MoE는 오픈 채널과 다공성 매질의 검증 MSE를 각각 2.46 x 10^-5, 9.76 x 10^-6, 2.48 x 10^-6, 1.76 x 10^-6으로 달성하며, 희소 전문가 라우팅이 다중 물리 현상 간섭을 완화하는 효과적인 방법임을 입증했어요.