연구진이 LLM 강화 학습의 토큰별 신뢰 할당 문제를 해결하기 위해 FlowTracer 프레임워크를 제안했어요. FlowTracer는 어텐션 기반 방향성 비순환 그래프를 활용해 질문과 답변을 연결하는 정보 흐름을 추적하고 토큰별 신뢰를 산출해요.
답변 영역에 도달할 수 있는 영향만 유지하고, 경로 길이와 관련 없는 분기로 인한 효과적인 질량 손실이나 증감을 방지하는 로컬 흐름 보존을 적용했어요.
FlowTracer는 토큰별 보상을 형성하여 정보가 올바른 답변으로 흐르는 토큰에 집중하도록 학습 신호를 유도하여 다양한 추론 작업에서 성능 향상을 이끌어냈어요.