연구진은 LLM 에이전트의 의사 결정 작업을 평가하는 데 어려움이 있다고 밝혔습니다. 기존 평가는 에이전트가 관찰하지 못하는 정보를 활용하거나, 참고 정책이 아예 없는 경우가 많아 실패 원인을 파악하기 어렵습니다.
STOCKTAKE는 26주간의 공급망 보충 벤치마크로, 여섯 개의 숨겨진 요소를 가진 부분 관측 마르코프 결정 과정으로 설계됐습니다. 정확한 베이즈 필터를 통해 에이전트와 동일한 관측 스트림에서 정책을 실행할 수 있도록 했습니다.
Claude Sonnet 5, GPT-5.4, DeepSeek-V4-Pro, Grok 4.5는 숨겨진 실패의 84~88%를 감지하고, 발병 후 보통 1주일 이내에 이를 인지합니다. 하지만 스킬 점수는 0.62에서 -0.23 사이로 다양하며, 두 모델은 기준선 아래에 머물렀습니다.
모델들은 스트레스가 지속될 때, 진단된 스트레스 주에도 34~43%의 재고 부족 현상을 겪습니다. 이는 모델이 인지하는 주간의 심각도를 반영하며, 스킬 점수와 반대로 나타납니다.