AI 과학자 에이전트는 모델 품질, 프롬프트, 추론 구조에 따라 역량이 결정된다는 평가를 받지만, 이번 연구는 지식 집약적인 과학적 의사 결정에서 제한 요인은 접근 가능한 증거 기반이라는 가설을 검증합니다.
웹 검색만 하는 에이전트(A), 공개 도구와 14차원 평가 플레이북을 활용하는 에이전트(B), 그리고 독점 데이터베이스(Noah AI)를 활용하는 에이전트(C)를 비교한 결과, B는 정확도와 객관성을 향상시켰지만, 사실 기반의 한계를 극복하지 못했습니다.
독점 데이터는 AI 과학자가 알 수 있는 정보의 상한선을 결정하며, 완벽한 비독점 데이터 보고서도 B의 커버리지를 고려하면 최대 3.83까지만 가능합니다.
추론 구조는 교정 및 규율 개선에 기여하지만, 독점 데이터가 AI 과학자의 지식과 의사 결정의 궁극적인 한계를 설정합니다.