연구진이 LLM 추론 오류 전파를 연구하기 위해 LLMFI라는 새로운 프레임워크를 개발했어요. 세 가지 오픈 웨이트 LLM과 13가지 작업에 오류를 주입하며, 추론, 다국어, 수학, 코딩 영역을 분석했어요. 연구 결과, 소프트웨어 수정만으로도 LLM 추론의 신뢰성을 높일 수 있는 4가지 방법을 제시했어요.
LLMFI를 통해 발견된 17가지 주요 내용을 통해 LLM 추론 오류 전파에 대한 이해를 높였어요. 오류 전파는 모델, 작업, 오류 위치에 따라 다르게 나타나는 복잡한 패턴을 보여요.
연구진은 오류 감지 및 완화 전략 개발에 필요한 실질적인 지침을 제공하며, LLM 추론의 신뢰성을 향상시키는 데 기여할 것으로 기대돼요.