IceFog72가 llama.cpp에 실험적인 샘플러 'scatter'를 추가했어요. 이 샘플러는 모델의 다음 토큰 확률 분포를 부드럽게 만들어 줍니다.
기존 온도 조절 방식처럼 꼬리 부분의 불필요한 토큰을 활성화시키지 않고, 후보 토큰 간의 확률을 교환하여 텍스트 생성의 경직성을 완화하는 방식이에요.
scatter는 collision gate, rank-space diffusion, adaptive strength, repeated-token absorption 등의 기능을 제공하며, 기본적으로 비활성화되어 있습니다.
기존 온도 조절 방식은 전체 분포를 평탄하게 만들어 창의성을 높일 수 있지만, 약한 꼬리 토큰에 확률을 분산시켜 부자연스러운 결과를 초래할 수 있어요.
scatter는 기존 샘플러(top-k, top-p, XTC 등)를 통해 필터링된 후보군 내에서만 작동하여, 불필요한 토큰을 활성화시키지 않도록 설계되었어요.
개발자는 `--scatter-collision`, `--scatter-steps`, `--scatter-adaptive`, `--scatter-entropy-target` 등의 파라미터를 통해 scatter의 동작 방식을 조절할 수 있습니다.