연구진이 자기 지도 표현 학습 아키텍처인 RePAIR를 소개했어요. RePAIR는 MAE, JEPA, BERT를 결합하여 체스 위치와 같은 순차 데이터의 객체를 효율적으로 표현합니다. 실험 결과, 모델은 강화 학습 없이 기물 움직임을 추론하고 의미 있는 체스 개념을 클러스터링합니다.
RePAIR는 마스크된 상태 시퀀스를 예측하여 낮은 차원의 임베딩 공간에서 시퀀스 간격을 복구하는 방식으로 작동해요. 체스 도메인 실험에서 모델은 보드 표현을 개선하여 의미 있는 체스 개념을 클러스터링합니다.