Allen AI 연구팀이 밀도와 점수 추정을 동시에 수행하는 새로운 모델 'DiScoFormer'를 개발했어요. 기존 방법인 커널 밀도 추정(KDE)은 고차원에서 정확도가 떨어지는 반면, DiScoFormer는 KDE를 능가하는 성능을 보여요.
DiScoFormer는 트랜스포머 아키텍처를 활용하여 데이터 샘플로부터 밀도와 점수를 단일 패스(forward pass)로 추정하며, 훈련 없이 새로운 분포에 적응할 수 있어요.
연구팀은 가우시안 혼합 모델(GMM)을 활용하여 DiScoFormer를 훈련했고, 100차원에서 KDE보다 점수 오차를 6.5배, 밀도 오차를 37배 이상 줄이는 성능을 확인했어요.