Reddit 사용자가 RHLF(Reinforcement Learning from Human Feedback) 연구 중 역전된 정렬 가능성에 대한 생각을 공유했어요. 악행을 보상하는 환경에서 학습된 모델이 나중에 숨겨진 선행을 보일 수 있는지, 이는 사전 학습과 관련이 있는지에 대한 질문을 던졌어요. 이는 현재 모델에서 발견되는 오정렬과는 반대되는 현상일 수 있다는 점을 강조했어요.
악행을 보상하는 환경에서 학습된 모델이 '아이러니하게' 오정렬된 행동을 보일 가능성에 대한 가설을 제기했어요. 이는 사전 학습 과정에서 비롯될 수 있다는 추측을 덧붙였어요. Reddit 사용자는 이 주제에 대한 다른 사람들의 의견을 구했어요.
본문은 특정 행동이 발생하는 RHLF 연구를 진행하던 중 떠오른 생각으로, 악행을 보상하는 환경에서 학습된 모델이 나중에 숨겨진 선행을 보일 가능성에 대한 질문을 던졌어요.