고에너지 물리학에서 머신러닝 모델은 종종 시뮬레이션된 데이터로 훈련되며, 완전 시뮬레이션 샘플은 계산 비용이 많이 들고 빠른 시뮬레이션은 현실감이 떨어지는 대규모 통계를 제공합니다.
연구에서는 대표적인 세 가지 작업(신호-배경 분류, 쿼크-글루온 제트 태깅, 누락된 횡단 에너지 재구성)에 대해 밀집 신경망, 그래프 신경망, 트랜스포머 기반 아키텍처를 사용하여 현실적인 LHC 환경에서 빠른 시뮬레이션과 완전 시뮬레이션 데이터 세트 간의 전이 학습을 체계적으로 연구했습니다.
사전 훈련된 모델은 독립적으로 훈련된 기준 모델보다 일관되게 성능이 뛰어나고 대상 도메인 훈련에 필요한 데이터 양을 크게 줄여 일반적으로 필요한 통계를 약 2배 줄입니다.