연구진은 기존 자체 수정 LLM 평가 방법의 한계를 지적하며, 오류 정보가 모델 성능에 미치는 영향을 플라시보 통제하에 평가하는 PoPE(Popperian Placebo-controlled Evaluation) 방법론을 제시했어요.
PoPE는 실패한 프로그램 코드를 가설로, 실행 오류를 오라클의 반증으로 간주하며, 프롬프트 채널과 가중치 채널을 통해 0.5~1.5B 파라미터의 소규모 코드 모델을 평가했어요.
프롬프트 채널에서는 오류 내용이 제거된 플라시보 조건에서 12개의 단위가 해제된 반면, 실제 오류 패턴 조건에서는 10개가 해제되어, 메커니즘이 없다는 결과가 나왔어요.
가중치 채널에서는 오류 내용 어댑터와 기준 조건이 8-8 동률을 보였고, SHA 방식으로 교란된 플라시보 어댑터가 10개의 단위를 해제하며, 내용에 따른 우월성이 확인되지 않았어요.