연구진은 GitHub Copilot과 같은 상용 도구가 지원하지 않는 자원 없는 프로그래밍 언어에 대한 LLM 코드 생성 성능을 평가하고 개선하는 방법을 모색했어요.
두 개의 자원 부족 프로그래밍 언어에 대한 세 개의 코드 생성 벤치마크를 구축하고 공개하며, 프롬프트 기반 기법, 사전 훈련, 미세 조정 등 다양한 방법을 실험했어요.
사전 훈련이 가장 큰 성능 향상을 가져왔지만, instruction-tuned 모델에 직접 적용하면 지시사항을 따르는 능력이 저하되는 문제가 발생했어요.