본 연구는 연합 강화 학습(FedRL)에서 시스템 제약 조건을 고려한 집계 방법을 연구해요. 로컬 성능과 제약 조건 위반 추정치를 집계 서버 업데이트에 반영하는 규칙을 제안했어요. 특히, 간단한 페널티 기반 규칙($w_i ∝ R_i - αV_i$)은 이중 최적화나 로컬 학습 수정 없이 보상과 안전 사이의 안정적인 균형을 제공해요.
DairyGridEnv 벤치마크 환경에서 페널티 기반 집계는 FedAvg에 비해 위반을 줄이고 보상을 향상시켰고, 핀란드와 독일의 실제 부하 프로필에서도 안정적인 성능을 보였어요. 페널티 기반 방식은 $λ$ 값을 통해 조정 가능한 균형을 제공하지만, 안정성은 다소 떨어지는 편이에요.
연구 결과, 가벼운 집계 전략만으로도 연합 강화 학습의 경험적 안전성을 크게 향상시킬 수 있으며, 표준 통신 프로토콜을 유지할 수 있다는 것을 보여줘요.