연구진이 LLM 학습 불안정성을 사전 감지하는 메커니즘 기반 모니터링 기법을 개발했어요. QK 쌍선형 분해의 스펙트럼 엔트로피를 모니터링하여 손실 함수가 완전히 붕괴되기 전에 이상 징후를 감지할 수 있어요. MoE 라우터의 역할을 분석하여 전문가 선택 과정의 지표를 도출하고, 다양한 오류에 대한 구별된 신호를 제공해요.
저정밀 플래시 어텐션, 과도한 학습률, 복합 오류 등 다양한 오류 상황에서 실험을 진행한 결과, 손실 함수 발산 전에 수천 단계 앞서 불안정성을 감지할 수 있었어요. 이 기법은 수치 또는 하이퍼파라미터 오류로 학습 역학이 불안정해진 후에도 정상적으로 보이는 상황에서 조기 경고를 제공하는 데 효과적이에요.
개발된 모니터링 기법은 LLM 학습 과정의 비용을 절감하고 안정성을 높이는 데 기여할 것으로 기대돼요.