연구진은 재훈련이 불가능한 환경에서 동결된 소규모 코드 모델이 자체 실패한 출력을 보고 프로그램 오류를 수정하는 과정을 분석했어요.
Popper의 관점에서 생성된 프로그램은 가설이며, 테스트 실행 실패는 실행 가능한 반례로, 피드백의 가치는 실패한 코드에 대한 재노출이 아닌 외부 실행 가능한 비판에 대한 개방성에 있다고 주장해요.
연구는 위약 대조 실험을 통해 피드백 패킷을 분해하고, 6개의 HumanEval+/MBPP+ 셀에서 3개의 0.5B-1.5B 동결 모델을 평가하여 7,000개의 새로운 생성을 만들고, 사전 등록된 후속 실험에서 1,400개의 추가 생성을 만들었어요.