연구진은 LLM 에이전트의 코드 최적화 과정에서 사전 지식의 역할에 주목했어요. 세 가지 실험을 통해 LLM이 블랙박스 최적화 시 탐욕적인 방식으로 작동하고, 입력 크기 정보가 모델에 영향을 미치지 않는다는 것을 발견했어요. 특히, 일반적이지 않은 커널 크기 최적화 시 성능이 급격히 저하되는 경향을 보였어요.
피드백 루프 기반 커널 최적화 실험에서는 CUDA가 꾸준히 성능을 개선하는 반면, TVM IR은 오히려 성능이 저하되는 현상이 나타났어요.
결론적으로, LLM은 코드 최적화 작업에서 제공된 피드백이나 에이전트 구조보다 사전 지식에 크게 의존하는 것으로 나타났어요.