연구자들이 개발한 ML 전략은 놀라울 정도로 과적합되지 않았습니다. 이 현상은 성공적인 ML 전략이 매우 잘 압축 가능하다는 가설로 설명될 수 있습니다. 연구진은 LLM 기반 연구 에이전트를 통해 이 가설을 검증했는데, 짧은 프롬프트와 학습 데이터만으로도 고성능 모델을 재현할 수 있었습니다.
8개의 데이터셋을 대상으로 출력 압축과 입력 압축 실험을 진행한 결과, 짧은 프롬프트와 압축 가능한 피드백은 성능에 큰 영향을 미치지 않았습니다. 의도적으로 검증 데이터셋 과적합을 유도했을 때, 짧은 프롬프트로 재현되지 않는다는 결과가 나왔습니다.
연구 결과는 벤치마크 기반 ML의 과적합 부족을 설명하는 설명 길이 가설을 뒷받침합니다. 성공적인 전략은 전략 공간의 저복잡도 영역을 차지합니다.