연구진은 GaLore와 같은 메모리 효율적인 옵티마이저가 서브스페이스를 추적한다고 가정하지만, 실제로는 그렇지 않다는 것을 밝혔습니다.
서브스페이스 추정치 간의 불일치는 0.73에서 0.74로 나타났으며, 이는 추정치 간 간격과 동일한 수준입니다.
연구 결과, 128개 방향 중 약 39개만 미니배치 간에 재현 가능하며, 평균화를 통해 나머지 방향을 복구할 수 없습니다.
LDAdam은 GaLore보다 더 나은 성능을 보였으며, 이는 서브스페이스 비식별성이라는 측정 가능한 사실이 GaLore의 작동 원리를 명확히 합니다.