연구팀은 GPT-4o mini, DeepSeek, Claude 등 LLM이 다양한 언어로 프롬프트를 받았을 때 코드 생성 품질에 어떤 영향을 미치는지 조사했어요. Python과 Java 코딩 작업을 영어에서 중국어, 힌디어, 스페인어, 이탈리아어로 번역하여 460개의 벤치마크를 만들었어요. 결과적으로 영어 프롬프트가 항상 가장 좋은 성능을 내지 않았고, LLM과 프로그래밍 언어에 따라 언어 영향이 달라지는 것을 확인했어요.
생성된 코드는 주석과 문자열 리터럴에서 영어와 프롬프트 언어를 혼용하는 경향이 있었으며, 이는 다국어 코드 생성 시스템 개발에 중요한 시사점을 제공해요. 연구팀은 이 연구를 통해 다국어 코드 생성의 언어 편향을 연구할 수 있는 벤치마크를 제공하고, 더욱 견고한 다국어 코드 생성 시스템 개발에 기여하고자 했어요.
기존 연구가 일반 텍스트 생성에 대한 언어 편향을 다뤘다면, 이번 연구는 코드 생성 품질과 프로그래밍 규칙에 미치는 영향을 처음으로 분석한 결과물이에요.