연구진은 법률 추론 등 고위험 의사결정 환경에서 LLM의 일관성 문제를 지적하며, 프레임 변화에 따른 의사결정 불안정성을 야기하는 '프래자일(Fragile)' 벤치마크를 공개했어요.
Fragile 벤치마크 실험 결과, LLM은 프레임에 평균 28.6%나 민감하게 반응하며, 단순 프롬프트 조정이나 활성화 레벨 개입은 오히려 프레임 민감성을 악화시키는 것으로 나타났어요.
연구진은 프레임에 민감한 내부 경로를 직접적으로 타겟팅하는 'Valign' 방법을 제안하여, 가치 기반 의사결정 안정화, 숨겨진 상태 조작, 시간-생생함 감지 방향 제거를 통해 프레임 유발 의사결정 오류를 줄이는 데 성공했어요.