연구진이 픽셀 단위 지구 관측 모델의 확장 연구인 TESSERA v2를 발표했어요. 395번의 학습 실험을 통해 모델 확장 전략과 예산 배분 방법을 분석했답니다.
예상과 달리 학습 손실은 다운스트림 성능을 잘 예측하지 못해, 손실 기반 모델 선택은 컴퓨팅 자원을 낭비할 수 있음을 밝혔어요.
학습 예산 증가 시 인코더와 데이터는 함께 성장해야 하고, 프로젝터는 고정해야 한다는 규칙을 제시하며, 이를 바탕으로 0.5B와 1B, 2B 모델을 학습했어요.
2100만 파라미터 규모의 증류 모델인 TESSERA v2-1B-M은 기존 모델보다 뛰어난 성능을 보였으며, 16차원 표현으로 92%의 성능을 유지하며 저장 공간을 1/8로 줄였어요.