This work raises some important ethical questions, many of which also apply to STaR. For example, it is impossible to know that the reasoning expressed by the model in language accurately represents the internal processing of the model (i.e., faithfulness). In addition, regardless of faithfulness, there are no safeguards against harmful or biased reasoning patterns if the model finds them useful. Relatedly, we note that CommonsenseQA is known to have many biased questions and low-quality answers (Geva et al., 2019), but we use it in line with prior work (Zelikman et al., 2022; Goyal et al., 2023). Thus, aside from improving language modeling, it is unclear in what capacity the rationales themselves should be used.
이 작업은 몇 가지 중요한 윤리적 질문을 제기하며, 그 중 상당수는 STaR에도 적용됩니다. 예를 들어, 모델이 언어로 표현한 추론이 모델의 내부 처리를 정확하게 나타내는지(즉, faithfulness) 알 수 없습니다. 또한 faithfulness에 관계없이 모델이 유용하다고 판단하면 해롭거나 편향된 추론 패턴에 대한 안전장치가 없습니다. 이와 관련하여, CommonsenseQA에는 편향된 질문과 품질이 낮은 답변이 많이 포함되어 있는 것으로 알려져 있지만(Geva et al., 2019), 이전 연구(Zelikman et al., 2022; Goyal et al., 2023)에 따라 이를 사용합니다. 따라서 언어 모델링을 개선하는 것 외에 근거 자체를 어떤 용도로 사용해야 하는지는 불분명합니다.
이 작업은 몇 가지 중요한 윤리적 질문을 제기하며, 그 중 상당수는 STaR에도 적용됩니다. 예를 들어, 모델이 언어로 표현한 추론이 모델의 내부 처리를 정확하게 나타내는지(즉, 충실성) 알 수 없습니다. 또한 충실성에 관계없이 모델이 유용하다고 판단하면 해롭거나 편향된 추론 패턴에 대한 안전장치가 없습니다. 이와 관련하여, 상식QA에는 편향된 질문과 품질이 낮은 답변이 많이 포함되어 있는 것으로 알려져 있지만(Geva et al., 2019), 이전 연구(Zelikman et al., 2022; Goyal et al., 2023)에 따라 이를 사용합니다. 따라서 언어 모델링을 개선하는 것 외에 근거 자체를 어떤 용도로 사용해야 하는지는 불분명합니다.