연구진은 압축 연산(CC) 모델이 중첩 연산의 일종인지 조사했어요. CC 모델은 50개 뉴런으로 100개의 ReLU 함수를 계산하며, 예상보다 낮은 손실을 달성해요. 연구 결과, CC 모델은 입력 데이터를 혼합하며, 이는 의도치 않은 혼합 행렬을 발생시키고, 이 혼합 행렬의 크기에 따라 성능이 향상돼요.
ReLU 항과 혼합 항으로 훈련 목표를 분리한 결과, 학습된 뉴런 방향은 혼합 행렬의 상위 50개 고유값과 관련된 부분 공간에 집중돼요.
혼합 행렬만을 사용한 SNMF 기반 모델은 기존 기준 성능을 능가하지만, 훈련된 모델과 정확히 일치하지 않아 CC가 중첩 연산의 적합한 모델이 아니라는 결론을 내렸어요.