연구진은 Qwen3-8B 모델이 현재 전략의 목표 달성 가능성을 내부적으로 추적하는 '가치 축'이 존재한다는 사실을 밝혀냈습니다.
인위적인 강화 학습 데이터를 활용해 가치 축을 분석한 결과, 높은 신뢰도, 백트래킹 여부, 올바른 코드와 오류 코드 간의 차이를 구별했습니다.
가치 축을 조작하여 모델의 자기 수정 억제, 설명적 장황함 감소, 백트래킹 유도, 탐색 촉진 등이 가능하며, DPO를 통해 특정 행동에 대한 내부적 가치 증가를 유도할 수 있습니다.