연구진은 기존 방식보다 효율적인 LLM 기반 신경 아키텍처 검색(NAS) 방법인 델타 코드 생성을 제안했습니다. 이 방법은 LLM을 활용해 기존 아키텍처를 개선하는 작은 코드 변경(델타)를 생성합니다.
DeepSeek-Coder-7B, Qwen2.5-Coder-7B, Mistral-7B 등 7B급 LLM 3종을 6개 데이터셋에서 평가한 결과, 기존 방식보다 유효성 비율과 정확도가 크게 향상되었습니다.
델타 기반 생성 방식은 전체 모델 생성 방식에 비해 토큰 효율성이 높고, 다양한 분야에 적용 가능하며, LLM에 구애받지 않는다는 장점이 있습니다.