연구진은 LLM이 일반적인 프로그래밍 작업에서는 뛰어난 성능을 보이지만, 실행 가능한 알고리즘 트레이딩 전략 생성 능력은 아직 충분히 연구되지 않았다는 점을 지적했습니다.
퀀트코드 벤치(QuantCode-Bench)는 Backtrader 프레임워크를 활용하여 텍스트 설명을 기반으로 트레이딩 전략을 생성하는 LLM을 평가하기 위한 벤치마크로, Reddit, TradingView 등 다양한 소스로부터 수집된 400개의 과제를 포함합니다.
현재 LLM은 구문 오류보다는 트레이딩 로직의 정확한 구현, API 사용, 작업 의미 준수 등에서 한계를 보이며, 이는 자연어 설명, 금융 로직, 전략의 데이터 기반 행동 간의 일관성을 요구하는 전문적인 코드 생성 작업임을 시사합니다.