연구진이 LLM 강화 학습의 토큰별 기여도 분석을 위한 FlowTracer 프레임워크를 제안했어요. FlowTracer는 어텐션 가중치를 기반으로 추론 흐름을 추적하고, 토큰별 기여도를 평가하여 학습 신호를 집중하도록 유도합니다. 이 프레임워크는 질문과 답변을 연결하는 정보 흐름의 핵심 경로를 파악하고, 토큰의 흐름을 통해 중요도를 측정합니다.
기존 방식은 모든 토큰을 동일하게 취급하지만, FlowTracer는 답변과 관련된 추론 흐름을 파악하여 토큰별 기여도를 정확하게 평가합니다. 어텐션 가중치를 재가중하여 답변 영역에 영향을 미치는 경로만 유지하고, 정보 손실을 방지합니다.
FlowTracer는 다양한 추론 작업에서 성능 향상을 보였으며, 토큰의 중요도를 나타내는 핵심 허브와 정보 집계 지점을 밝혀냈습니다.