Agon은 두 개의 경쟁 모델이 서로의 평가자가 되도록 하여 강화 학습을 개선하는 새로운 방법입니다. 모델들은 번갈아 가며 문제를 해결하고, 각 모델은 상대방을 능가하는 방식으로 보상을 받습니다. 이를 통해 추론 과정이 암묵적으로 평가되고, 더 나은 사고 능력을 키울 수 있습니다.
DeepMath 문제에서 Agon은 GRPO의 pass@1 성능을 두 배로 향상시켰으며, 이는 Mixture-of-Agents 방식보다 약 8배 높은 성능 향상입니다. 이 방법은 다양한 모델 패밀리에서도 효과적인 것으로 나타났습니다.
향후 Agon은 텍스트 기반 대화뿐만 아니라 잠재 공간에서 함께 추론할 수 있도록 발전할 예정입니다.