연구에 따르면 에이전트 코딩에서 도구 접근보다 추론 노력이 더 중요합니다. 90건의 에이전트 실행 결과, 실시간 회고 보드 앱을 구축하는 데 필요한 추론 노력이 성능 향상에 큰 영향을 미쳤습니다. 컨테이너 배포 오류가 가장 흔했으며, 모델 세대에 따라 실패율이 크게 변동했습니다. 브라우저 기반 테스트 도구는 기능 점수나 신뢰도를 높이지 못했습니다.
추론 노력을 높이면 첫 시도 성공률이 28%에서 89%로 증가하고 수정 요청 횟수가 줄어들었습니다. 디자인 지향 프롬프트는 시각적 품질을 향상시켰지만 기능에는 영향을 미치지 않았으며, 간단한 재구성만으로도 효과를 재현할 수 있었습니다. 대부분의 첫 실행 실패는 추론 부족에서 비롯되었으며, 더 강력한 모델이나 노력을 통해 예방할 수 있습니다.
연구는 문제 해결에 적합한 해결책을 적용하는 것이 중요하다고 강조합니다. 테스트 도구는 눈에 보이는 결함을 잡기보다는 추론 능력을 강화하는 데 집중해야 합니다.