TritonSigmoid는 단일 셀 기반 모델에 최적화된 시그모이드 어텐션 커널입니다. 이 커널은 기존 소프트맥스 방식보다 더 많은 유전자(토큰)에 동시에 집중할 수 있도록 설계되었습니다. 실험 결과, H100 GPU에서 최대 515 TFLOPS의 성능을 보여주며, 6개의 데이터셋에서 검증 손실이 낮아졌습니다.
TritonSigmoid는 가변 길이 패딩을 자연스럽게 처리하여 불필요한 연산을 줄입니다. 이는 200개에서 16,000개 이상의 유전자를 표현하는 단일 셀 모델에 특히 유용합니다. 또한, 기존 방식보다 더 나은 세포 유형 분리 성능을 제공합니다.
연구진은 이 커널의 안정적인 학습 성능을 확인했으며, 관련 논문과 코드를 공개했습니다. 사용자들의 피드백과 논의를 환영합니다.