연구진은 LLM의 내부 표현에서 유해 의도가 어떻게 표현되는지 분석하기 위해 예측 엔트로피 경로를 레이어별로 분석했어요. 탈옥 관련 신호는 최종 레이어보다 중간 레이어에 집중적으로 나타나는 것으로 확인됐어요. 여러 모델에서 엔트로피 역학을 통해 추가 훈련 없이 아키텍처 일관성을 보이는 분리 가능성을 확인했어요.
탈옥 행위는 구조화된 중간 불확실성 역학을 통해 반영되며, 유해 의도를 표현하는 엔트로피 기반 특징과 신호가 가장 두드러지는 네트워크 위치를 명확히 보여줘요. 연구는 Llama, Qwen, Gemma 모델을 대상으로 진행됐어요. 이 연구는 LLM의 안전성 강화에 기여할 수 있는 새로운 시사점을 제공해요.
연구 결과는 탈옥 행위가 모델의 중간 레이어에서 구조화된 불확실성 역학을 통해 표현된다는 것을 보여주며, 이는 모델의 안전성 연구에 중요한 단서를 제공할 수 있어요.