연구진은 LLM이 과거 금융 의사 결정 작업에서 실현된 결과에 대한 매개변수 지식을 유출한다는 점을 확인했어요.
HindsightBench 프로토콜은 모델의 매개변수 후회를 감사하는 데 사용되며, 데이터 접근 없이 프로브 수준의 비용으로 수행 가능해요.
15개 모델을 분석한 결과, 날짜 트리거 반사는 모델 생성 시기와 관련 있으며, 효과적인 차단 기간은 벤더가 보고한 날짜보다 최대 8개월 앞선다는 사실이 밝혀졌어요.
프로토콜은 양자화 및 추론 방식을 공개하고, 패널 데이터, 사전 등록 정보, 모델별 감사 결과 등을 공개했어요.