언어 모델(LM)은 다양한 작업에 적용 가능한 방대한 양의 사실적 지식을 담고 있어, 파라미터를 지식 기반으로 보는 견해가 있습니다. 지식 기반의 중요한 특징은 동일한 사실에 대한 여러 쿼리가 일관된 결과를 반환하며, 단일 출처의 진실을 활용한다는 것입니다. 본 연구에서는 행동적 및 기계적 분석을 통해 LM이 이 특성을 만족하는지 조사했습니다.
연구 결과, 사실은 한 작업에서 습득되면 다른 작업에서는 자주 함께 나타나지 않는다는 사실이 밝혀졌습니다. 파라미터 위치 실험을 통해 기계적 설명을 제시하며, 동일한 사실에 대한 서로 다른 작업의 하위 집합이 존재한다는 것을 확인했습니다.
체인 오브 소망 추론은 평가 작업과 관련된 파라미터 외에 작업별 파라미터를 활용하여 효과를 얻는 것으로 나타났습니다. 이러한 결과는 모델이 무엇을 알고 어떻게 질문하는지가 파라미터 공간에서 얽혀 있으며, LM의 사실적 지식의 신뢰성과 제어 가능성에 대한 함의를 갖습니다.