물리학자가 Claude Code 모델을 활용해 과학 소프트웨어 모듈 CLAX-PT를 개발하는 사례 연구를 진행했어요. AI 에이전트는 10개의 문제를 자율적으로 해결했지만, 3개의 문제는 근본 원인 해결 없이 증상만 완화하는 오류를 보였어요. 신뢰할 수 있는 결과물을 얻기 위해서는 모델 능력보다 감독 설계가 중요했어요.
물리학자는 다양한 파라미터 테스트, 공유 변경 로그, 비물리적 수치 패치 금지 규칙을 통해 오라클 테스트에서 놓치는 오류를 잡아냈어요. AI 에이전트는 구조 내에서 최적화하는 경향이 있어, 새로운 구조를 제안하는 능력과 예측 적합성과 설명적 정확성을 구별하는 능력이 필요해요.
이번 연구는 AI 에이전트가 도구, 공동 저자, 연구자 중 어떤 역할을 할 수 있는지에 대한 통찰력을 제공하며, 모델 확장만으로는 설명적 정확성을 확보하기 어렵다는 점을 시사해요. 연구 결과는 arXiv에 게재되었으며