이 논문은 트랜스포머 활성화를 활용한 딥 활성 학습 방법이 컨텍스트 학습에 효과적인지 분석했어요. Llama 3.2-3B와 Qwen 2.5-3B 모델을 사용해 다양한 데이터셋에서 실험을 진행했죠. 하지만 MLP 출력은 예제 품질이나 작업 성능과 상관관계가 낮다는 부정적인 결과를 얻었어요.
절대 스피어만 상관 계수가 0.33을 넘지 않아 활성화 기반 샘플링은 컨텍스트 학습에 적합하지 않다는 결론에 도달했죠. 모델이 더 많은 특징을 표현하기 때문에 활성화 기반 샘플링이 효과적이지 않을 수 있다고 분석했어요.
향후 Sparse Autoencoders (SAE) 같은 방법이 컨텍스트 학습에 도움이 될 수 있을 것으로 기대하며, 모델의 특징 표현 방식에 대한 추가 연구가 필요하다고 제안했어요.