of human alignment in AutoCoT. Although previous work solves the problem of manual annotating, demonstration selection can also significantly affect performance. Automate-CoT (Shum et al., 2023) employs reinforcement learning with a variance-reduced policy gradient strategy to estimate the significance of each example in a black-box language model, eliciting better demonstration selection. Similarly, Lu et al. (2023) proposes PromptPG, which utilizes policy gradient to learn to select demonstrations in tabular reasoning. Ye and Durrett (2023) initially uses two proxy metrics to evaluate each example and then searches over examples to find demonstrations that yield the best performance in a silver-labeled development set. Meanwhile, Pitis et al. (2023) proposes Boosted Promptg, a prompt ensembling way to improve the performance, which iteratively expands the examples when encountering the problem that the current demonstration is challenging to handle. Zou et al. (2023) introduce Meta-CoT, which automatically selects demonstrations based on the question category, eliminating the need for the task-specific prompt design.
AutoCoT에서 인간의 정렬. 이전 연구에서는 수동 주석을 달는 문제를 해결했지만, demonstration 선택도 성능에 큰 영향을 미칠 수 있습니다. Automate-CoT(Shum et al., 2023)는 reinforcement learning과 분산 감소 정책 gradient 전략을 사용하여 블랙박스 언어 모델에서 각 예제의 중요도를 추정하여 더 나은 demonstration 선택을 이끌어냅니다. 마찬가지로 Lu et al. (2023)은 policy gradient를 활용하여 표 형식의 추론에서 demonstration을 선택하는 방법을 학습하는 PromptPG를 제안합니다. Ye와 Durrett(2023)은 처음에 두 가지 대리 지표를 사용하여 각 예제를 평가한 다음, 실버 레이블이 지정된 개발 세트에서 가장 우수한 성능을 발휘하는 demonstration을 찾기 위해 예제를 검색합니다. 한편, Pitis et al. (2023)은 현재 demonstration이 처리하기 어렵다는 문제가 발생했을 때 반복적으로 예제를 확장하는 프롬프트 앙상블 방식인 Boosted Promptg를 제안하여 성능을 개선합니다. Zou et al. (2023)은 질문 카테고리에 따라 demonstration을 자동으로 선택하는 Meta-CoT를 도입하여 작업별 프롬프트 설계의 필요성을 없앴습니다.
AutoCoT에서 인간의 정렬. 이전 연구에서는 수동 주석을 달는 문제를 해결했지만, 데모 선택도 성능에 큰 영향을 미칠 수 있습니다. Automate-CoT(Shum et al., 2023)는 강도 높은 학습과 분산 감소 정책 그라데이션 전략을 사용하여 블랙박스 언어 모델에서 각 예제의 중요도를 추정하여 더 나은 데모 선택을 이끌어냅니다. 마찬가지로 Lu et al. (2023)은 정책 기울기를 활용하여 표 형식의 추론에서 데모를 선택하는 방법을 학습하는 PromptPG를 제안합니다. Ye와 Durrett(2023)은 처음에 두 가지 대리 지표를 사용하여 각 예제를 평가한 다음, 실버 레이블이 지정된 개발 세트에서 가장 우수한 성능을 발휘하는 데모를 찾기 위해 예제를 검색합니다. 한편, Pitis et al. (2023)은 현재 데모가 처리하기 어렵다는 문제가 발생했을 때 반복적으로 예제를 확장하는 프롬프트 앙상블 방식인 부스트 프롬프트(Boosted Promptg)를 제안하여 성능을 개선합니다. Zou et al. (2023)은 질문 카테고리에 따라 데모를 자동으로 선택하는 메타 코트(Meta-CoT)를 도입하여 작업별 프롬프트 설계의 필요성을 없앴습니다.