Hindcast는 LLM 예측 모델 평가 시 발생하는 정보 유출 문제를 해결하기 위해 개발됐습니다. 모델이 과거 이벤트를 검색하거나 최신 학습 데이터를 활용해 답을 미리 알 수 있는 문제를 해결합니다. Hindcast는 특정 과거 시점을 기준으로 모델을 평가하며, 해당 시점 이전의 Reddit 게시물만 읽을 수 있도록 제한합니다.
Polymarket 예측 시장 데이터를 활용해 모델의 예측 정확도를 평가하며, 시장 가격 자체를 인간의 예측으로 간주합니다. Hindcast는 모델이 개선됨에 따라 새로운 시장에 대한 평가를 반복할 수 있어 평가의 신뢰성을 높입니다.