연구진은 LLM 규모에서 파괴적 망각 없이 다양한 텍스트 도메인에 지속적으로 사전 훈련하는 TFGN이라는 새로운 아키텍처를 소개했어요. TFGN은 기존 방법의 한계를 극복하고, 리플레이나 작업 ID 없이 입력 조건부, 매개변수 효율적인 업데이트를 생성해요.
6개의 이질적인 텍스트 도메인에서 TFGN은 역방향 전송 -0.007을 달성하고, HellaSwag 유지율 0.506/0.504/0.510을 보이며, 도메인 쌍 간 L2 직교 기울기 분리율 >=99.59%를 보여줘요.
TFGN은 파이썬 훈련만으로도 홀드아웃 JavaScript PPL을 각각 26.8% 및 62.0% 감소시키는 긍정적인 교차 도메인 전송을 가능하게 하며, 두 가지 확장을 통해 추가적인 성능 향상을 이뤄냈어요.