연구자들은 대규모 언어 모델과 함께 아이디어를 반복적으로 개선할 때, 모델이 원래 목표에 얼마나 충실하게 유지하는지 평가하는 벤치마크인 DriftBench를 소개했어요.
7개의 모델을 대상으로 한 2,146번의 벤치마크 실행 결과, 반복적인 압박은 구조적 복잡성을 증가시키고 원래 제약 조건 준수를 감소시키는 경향이 있어요.
모델은 제약 조건을 정확하게 재진술하지만 동시에 위반하는 '알지만 위반한다(KBV)' 현상을 보이며, 구조적 점검은 KBV 비율을 부분적으로 줄이지만 이러한 괴리를 해소하지는 못했어요.