연구진은 샘플 효율성을 높이는 새로운 강화 학습(RL) 방법인 Lighthouse RL을 제안했어요. Lighthouse RL은 기존 방법의 비효율성을 개선하기 위해 훈련 과정에서 발견된 고성능 구성에서 에피소드를 초기화하는 전략적 재설정 전략을 사용해요.
Lighthouse RL은 벤치마크 문제와 실제 회로에서 기존 RL 및 베이지안 최적화 방법보다 샘플 효율성(최대 1.72배 향상), 최적화 성능(100% vs. 0-87% 성공률), 일반화(75% vs. 0-50% 외삽 성공률), 목표 최대화 측면에서 뛰어난 성능을 보여줬어요.
이러한 효율성은 계산 비용이 많이 드는 블랙박스 최적화 문제에 특히 유용하며, Lighthouse RL의 재설정 전략은 모든 RL 기반 최적화 접근 방식에 쉽게 적용할 수 있어요.