Pluralis Research가 Stoa를 활용해 PaperSearchQA에서 29%에서 63%로 cover pass@1 성능을 향상시켰어요.
14대의 맥북과 B200 1개로 분산 학습 환경을 구축했는데, 각 맥북은 int8 추론을, B200은 bf16 그래디언트 업데이트를 담당했어요.
PULSE를 통해 가중치 델타만 전송하고 DPPO 스타일 확률 게이트를 적용해 버전 간 격차를 줄여 안정적인 학습을 가능하게 했어요.
Pluralis의 Agora와 Stoa를 결합하면 대규모 모델 추론과 학습을 분산 소비자 하드웨어로 옮길 수 있어, 더 많은 사람이 AI 개발에 참여할 수 있을 거예요.