연구진은 언어 모델의 행동을 이해하고 제어하기 위해 해석 가능한 방향을 찾는 것이 중요하다고 강조했어요. 기존의 희소 자동 인코더(SAE) 방식은 사전 학습 과정이 필요하다는 한계가 있었어요. ICA 렌즈는 사전 학습 없이도 언어 모델 표현의 비가우시안 방향을 효율적으로 찾아낼 수 있다는 점을 보여줘요.
GPT-2 Small, Gemma 2 2B, Qwen 3.5 2B Base 모델에서 ICALens를 통해 인간이 이해할 수 있는 방향을 간결하게 찾아냈으며, SAEBench 벤치마크에서 SAE와 유사한 성능을 보였어요. 특히 적은 비용으로 특정 방향을 탐색하는 데 더 효과적이었어요.
연구 결과, ICA는 단순한 기준점이 아닌, 언어 모델 표현을 탐색하는 효율적이고 보완적인 첫 번째 렌즈로 활용될 수 있음을 시사해요.