연구진은 다국어 instruction tuning에서 기본 LoRA 변형이 다른 복잡한 LoRA 변형보다 우위를 가지는지 조사했어요. 두 데이터셋과 다양한 대상 언어에 대한 실험 결과, 교차 언어 학습과 지식 유지 균형 측면에서 복잡한 LoRA 변형을 사용할 필요가 없다는 것을 확인했어요. 숨겨진 임베딩 분석 결과, 다양한 LoRA 기법으로 fine-tuning된 LLM의 언어 표현은 큰 차이를 보이지 않았어요.
층별 언어 표현이 LLM 아키텍처의 혁신으로 이어지지 않아, 복잡한 LoRA 기법이 더 나은 교차 언어 적응을 가져오지 않는다는 것을 시사해요. 연구는 기본 LoRA가 충분히 효과적이며, 다른 변형은 성능 향상에 크게 기여하지 않는다는 점을 강조해요.
연구 결과는 다국어 instruction tuning에서 기본 LoRA를 사용하는 것이 효율적이며, 복잡한 변형을 사용할 필요가 없다는 점을 보여줘요. 이는 LLM 개발 비용과 복잡성을 줄이는 데 도움이 될 수 있어요.