MaD Physics는 물리적 제약 하에 정보 탐색 능력을 평가하는 새로운 벤치마크입니다. 이 벤치마크는 세 가지 환경으로 구성되어 있으며, 각 환경은 고유한 물리 법칙을 기반으로 합니다. 과학적 탐색 과정에서 발생하는 데이터 수집 및 계획 제약 조건을 해결하기 위해 설계되었습니다.
MaD Physics는 기존 지식으로부터 오염을 방지하기 위해 수정된 물리 법칙을 포함하며, 에이전트는 예산이 소진될 때까지 측정값을 취한 후 시스템의 상태에 대한 예측을 수행합니다. 이를 통해 모델 추론 및 제약 조건 하의 계획 능력을 평가합니다.
Gemini 2.5 Flash Lite, 2.5 Flash, 2.5 Pro, 3 Flash 모델을 사용하여 MaD Physics를 벤치마킹하여, 구조화된 탐색 및 데이터 수집 능력의 부족점을 파악하고 과학적 추론 개선 방향을 제시했습니다.