연구진은 LLM이 작업 입력과 함께 긴 맥락을 처리할 때, 집계 정확도는 안정적으로 보이지만 개별 예시에 대한 불안정성이 숨겨져 있음을 발견했어요. 무작위로 조합한 의미 없는 단어조차도 일부 예시에 대한 모델 예측을 크게 변화시켜 성능을 저하시키거나 향상시키는 양면적 효과를 보였어요. 이러한 불안정성은 모델, 데이터셋, 맥락 유형, 길이, 컴퓨팅 자원 등에 따라 달라지며, LLM의 신뢰성 평가에 대한 경고를 담고 있어요.