연구진은 WildChat 데이터셋을 분석해 LLM에 대한 사용자들의 보안·개인정보(S&P) 관련 질문 1만 4727건을 확인했어요. S&P 질문은 계정 보안부터 사이버 공격 방어까지 다양한 주제를 다루고 있어요.
GPT 5.5는 98%의 질문에 적합한 답변을 제공하는 등 상용 LLM이 오픈 웨이트 모델보다 성능이 우수했지만, 답변의 일관성이 부족해 사용자 혼란을 야기할 수 있어요.
연구 결과, LLM의 S&P 관련 답변은 사용자에게 잘못된 정보나 위험한 조언을 제공할 가능성이 있어 주의가 필요해요.