Numerous endeavors can be undertaken to reduce human costs using unannotated (or very few annotated) data by utilizing the self-consistency (Wang et al., 2023). Hsieh et al. (2023) employs prompts to generate answers from much fewer labeled/unlabeled data, followed by the generation of rationales that prompt the language model to provide reasoning for the given answer. SCoTD (Li et al., 2023) finds that sampling multiple reasoning chains per instance from teachers is paramount for improving the capability of students. SCOTT Wang et al. (2023) utilizes contrastive decoding Li et al. (2022); O'Brien and Lewis (2023) during rationale generation for teacher models. Furthermore, to tackle the shortcut problem, it employs a counterfactual reasoning objective while training student models. DialCoT Han et al. (2023) decomposes reasoning steps into a multi-round dialog and selects the correct path using the PPO algorithm. Jie et al. (2023); Wang et al. (2023) add special tokens for mathematic problems. This high-level information improves the consistency of reasoning steps.
셀프 일관성을 활용하여 주석이 달리지 않은(또는 주석이 거의 없는) 데이터를 사용하여 인적 비용을 줄이기 위한 다양한 노력이 진행되고 있습니다(Wang et al., 2023). Hsieh et al. (2023)은 prompts를 사용하여 레이블이 지정된 데이터 또는 레이블이 지정되지 않은 데이터에서 훨씬 적은 양의 데이터로 답을 생성한 다음, 언어 모델이 주어진 답에 대한 추론을 제공하도록 prompts하는 근거를 생성합니다. SCoTD(Li et al., 2023)는 교사로부터 인스턴스당 여러 reasoning chains를 샘플링하는 것이 학생의 역량을 향상시키는 데 매우 중요하다는 사실을 발견했습니다. SCOTT Wang et al. (2023)은 교사 모델의 근거 생성 중에 contrastive decoding Li et al. (2022); O'Brien and Lewis (2023)을 활용합니다. 또한 지름길 문제를 해결하기 위해 학생 모델을 훈련하는 동안 counterfactual reasoning objective를 사용합니다. DialCoT Han et al. (2023)은 추론 단계를 다단계 대화로 분해하고 PPO algorithm을 사용하여 올바른 경로를 선택합니다. Jie et al. (2023); Wang et al. (2023)은 수학 문제에 대한 특수 tokens를 추가합니다. 이러한 높은 수준의 정보는 추론 단계의 일관성을 향상시킵니다.
셀프 일관성을 활용하여 주석이 달리지 않은(또는 주석이 거의 없는) 데이터를 사용하여 인적 비용을 줄이기 위한 다양한 노력이 진행되고 있습니다(Wang et al., 2023). Hsieh et al. (2023)은 프롬프트를 사용하여 레이블이 지정된 데이터 또는 레이블이 지정되지 않은 데이터에서 훨씬 적은 양의 데이터로 답을 생성한 다음, 언어 모델이 주어진 답에 대한 추론을 제공하도록 프롬프트하는 근거를 생성합니다. SCoTD(Li et al., 2023)는 교사로부터 인스턴스당 여러 추론 사슬을 샘플링하는 것이 학생의 역량을 향상시키는 데 매우 중요하다는 사실을 발견했습니다. SCOTT Wang et al. (2023)은 교사 모델의 근거 생성 중에 대조적 디코딩 Li et al. (2022); O'Brien and Lewis (2023)을 활용합니다. 또한 지름길 문제를 해결하기 위해 학생 모델을 훈련하는 동안 반사적 추론 목표를 사용합니다. DialCoT Han et al. (2023)은 추론 단계를 다단계 대화로 분해하고 PPO 알고리즘을 사용하여 올바른 경로를 선택합니다. Jie et al. (2023); Wang et al. (2023)은 수학 문제에 대한 특수 토큰을 추가합니다. 이러한 높은 수준의 정보는 추론 단계의 일관성을 향상시킵니다.