연구자가 LLM의 내부 신호와 발화 신호 간의 '알고 말하기' 격차를 분석한 결과, 내부 신호는 존재하지만 발화 시에는 거의 나타나지 않는다는 사실을 발견했어요. 이 격차는 모델의 답변 정확도를 판별하는 내부 신호가 발화 신호로 제대로 전달되지 않아 발생하는 라우팅 문제일 가능성이 높다고 분석했어요. 간단한 라우팅 우회 경로를 통해 모델의 신뢰도 발화 능력을 개선할 수 있으며, 이는 기존 방식보다 효율적이고 안정적인 결과를 보여줘요.
내부 신호는 모델의 정확/오답을 판별하는 데 사용될 수 있지만, 모델이 직접 신뢰도 점수를 발화하도록 훈련하면 성능이 거의 무작위 수준으로 떨어져요. 이는 모델 내부에는 정보가 존재하지만, 발화 과정에서 제대로 라우팅되지 않기 때문일 가능성이 높으며, 간단한 우회 경로를 통해 이 문제를 해결할 수 있어요. 이 방법은 기존 방식보다 비용 효율적이며, 안정적인 결과를 제공하는 것으로 나타났어요.
연구 결과는 모델의 규모나 구조에 관계없이 일관되게 나타났으며, 이는 '알고 말하기' 격차가 LLM의 근본적인 문제일 수 있음을 시사해요. 이 문제를 해결하기 위한 추가 연구가 필요하며, 현재 연구 결과는 LLM의 성능 향상에 기여할 수 있는 중요한 단서를 제공한다고 판단돼요.