**Remark**.: _It's worth noting that many common LLMs Tunstall et al. (2023) include an additional step of to align the model with human preference Rafailov et al. (2023); Munos et al. (2023); von Werra et al. (2020).
**Remark**: _주목할 점은, Tunstall et al. (2023)에 따르면 많은 일반적인 LLM들은 모델을 인간의 선호도에 맞추기 위한 추가 단계를 포함한다는 것입니다 (Rafailov et al., 2023; Munos et al., 2023; von Werra et al., 2020)._
**참고**.: _많은 일반적인 LLM에 추가 단계가 포함되어 있다는 점에 주목할 필요가 있습니다. 튜 instal et al. (2023)에는 모델을 인간의 선호도에 맞추는 단계가 포함됩니다(Rafailov et al., 2023; Munos et al., 2023; von Werra et al., 2020).