**Evaluation.** Our experiments use two different approaches to evaluation. In order to analyze the effectiveness of each algorithm in optimizing the constrained reward maximization objective, in the controlled sentiment generation setting we evaluate each algorithm by its frontier of achieved reward and KL-divergence from the reference policy; this frontier is computable because we have access to the ground-truth reward function (a sentiment classifier). However, in the real world, the ground truth reward function is not known; therefore, we evaluate algorithms with their _win rate_ against a baseline policy, using GPT-4 as a proxy for human evaluation of summary quality and response helpfulness in the summarization and single-turn dialogue settings, respectively.
**평가**. 실험에서는 두 가지 평가 접근 방식을 사용합니다. 제어된 감정 생성 설정에서 제약 조건이 있는 보상 극대화 objective를 최적화하는 각 알고리즘의 효과를 분석하기 위해, 우리는 접근 가능한 접근 방식을 사용합니다. 지상 실측 보상 함수(감성 분류기)를 통해 이 프론티어는 계산할 수 있습니다. 그러나 실제 세계에서는 지상 실측 보상 함수를 알 수 없으므로 요약 및 단일 턴 대화 설정에서 각각 요약 품질과 응답 유용성에 대한 인간 평가의 프록시로 GPT-4를 사용하여 baseline 정책과의 _승률_로 알고리즘을 평가합니다.
**평가**. 실험에서는 두 가지 평가 접근 방식을 사용합니다. 제어된 감정 생성 설정에서 제약 조건이 있는 보상 극대화 목표를 최적화하는 각 알고리즘의 효과를 분석하기 위해, 우리는 접근 가능한 접근 방식을 사용합니다. 지상 실측 보상 함수(감성 분류기)를 통해 이 프론티어는 계산할 수 있습니다. 그러나 실제 세계에서는 지상 실측 보상 함수를 알 수 없으므로 요약 및 단일 턴 대화 설정에서 각각 요약 품질과 응답 유용성에 대한 인간 평가의 프록시로 GPT-4를 사용하여 기준 정책과의 _승률_로 알고리즘을 평가합니다.