연구진은 정신 건강 지원 도구에 통합되는 LLM의 행동 안정성과 일관성을 조사했어요. 유사한 우려 사항이 다양한 프레임으로 제시될 때 모델의 응답이 달라질 수 있다는 점을 확인했어요. 프레임에 따른 변동성은 AI 신뢰도를 평가하는 데 어려움을 줄 수 있으며, 사용자 기대에 부합하지 않을 수 있어요.
연구 결과, 프레임은 모델의 해석적 응답 경향을 체계적으로 변화시키며, 트랜스포머 깊이 내에서 행동 관련 정보가 해독 가능했어요. 다양한 아키텍처에서 프레임 기반 프로브는 강한 어휘적 기준선에도 불구하고 우연보다 높은 수준을 유지했어요.
활성화 조작 실험은 프레임 관련 표현 방향이 하위 작업 행동 결과에 영향을 미칠 수 있음을 시사하며, 정신 건강 관련 상호 작용에 배포되는 대화형 AI 시스템의 일관성과 신뢰성을 평가할 때 문맥 변동에 대한 강건성이 중요하다는 점을 강조했어요.