연구진이 토큰 및 컨텍스트 레벨에서 상태 공간을 맞춤형으로 적용하는 MaLoRA·MaRA 어댑터를 제안했어요. MaLoRA는 토큰 레벨에서 입력 의존적인 동적 스케일링을 사용하고, MaRA는 컨텍스트 레벨에서 관련 세그먼트를 선택해요. Qwen-2.5-7B, Llama-3.1-8B, Gemma-2-9B 백본에서 MuSiQue, 2WikiMultihopQA 벤치마크를 통해 LoRA 대비 평균 F1 점수가 6.8% 향상됐어요.
MaLoRA는 기존 LoRA 방식의 정적 업데이트를 개선하여 토큰 레벨의 상태 변화를 반영하고, MaRA는 컨텍스트 레벨에서 관련 정보를 선택하여 추론 정확도를 높여요. 이 기술은 RULER QA-2에서 길이 제약 조건 하에서도 성능 향상을 보여줬어요. 연구 결과는 토큰 레벨의 이점이 RULER QA-2에서도 유지되는 것을 입증했어요.
MaLoRA·MaRA는 토큰 및 컨텍스트 레벨에서 상태 공간을 맞춤형으로 적용하여 LLM의 추론 능력을 향상시키는 새로운 어댑터 기술이에요. 이 기술은 다양한 백본 모델과 벤치마크에서 성능 향상을 보여주며, LLM의 추론 능력 개선에 기여할 것으로 기대돼요.