**Several works investigate teaching language model agents to reason in planning (Chen et al., 2023; Gandhi et al., 2023; Qiao et al., 2024), or to use specific tools or memory (Yao et al., 2022; Lanchantin et al., 2024; Schick et al., 2024), while others investigate how one may distill the reasoning from a large language model into a smaller language model Ho et al. (2022); Li et al. (2022); Hsieh et al. (2023). Notably however, Pan et al. (2024) demonstratesthat these feedback loops may result in reward hacking. Zelikman et al. (2023) shows how a bootstrapping loop can be implemented where a model repeatedly improves a code-improver using the same code-improver and Haluptzok et al. (2023) shows how language models can bootstrap their programming ability with programming puzzles Schuster et al. (2021). Other works have employed a similar strategy for using language models to solve inductive reasoning tasks or to model real-world systems (Wang et al., 2023; Qiu et al., 2023; Zhu et al., 2023; Li et al., 2024).
**여러 연구에서 계획(Chen et al., 2023; Gandhi et al., 2023; Qiao et al., 2024)에서 추론하도록 언어 모델 에이전트를 가르치거나 특정 도구 또는 메모리를 사용하도록(Yao et al., 2022; Lanchantin et al., 2024; Schick et al., 2024) 연구하는 한편, 다른 연구에서는 대규모 언어 모델에서 추론을 소규모 언어 모델로 증류하는 방법을 연구하고 있습니다(Ho et al., 2022; Li et al., 2022; Hsieh et al., 2023). 그러나 특히 Pan et al. (2024)은 이러한 피드백 루프가 보상 해킹을 초래할 수 있음을 보여줍니다. Zelikman et al. (2023)은 모델이 동일한 코드 개선자를 사용하여 코드 개선자를 반복적으로 개선하는 bootstrapping loop를 구현하는 방법을 보여주고, Haluptzok et al. (2023)은 언어 모델이 프로그래밍 퍼즐을 통해 프로그래밍 능력을 bootstrapping하는 방법을 보여줍니다(Schuster et al., 2021). 다른 연구에서는 inductive reasoning 작업을 해결하거나 실제 시스템을 모델링하기 위해 언어 모델에 유사한 전략을 사용했습니다(Wang et al., 2023; Qiu et al., 2023; Zhu et al., 2023; Li et al., 2024).
**여러 연구에서 계획(Chen et al., 2023; Gandhi et al., 2023; Qiao et al., 2024)에서 추론하도록 언어 모델 에이전트를 가르치거나 특정 도구 또는 메모리를 사용하도록(Yao et al., 2022; Lanchantin et al., 2024; Schick et al., 2024) 연구하는 한편, 다른 연구에서는 대규모 언어 모델에서 추론을 소규모 언어 모델로 증류하는 방법을 연구하고 있습니다(Ho et al., 2022); Li et al. (2022); Hsieh et al. (2023). 그러나 특히 Pan et al. (2024)은 이러한 피드백 루프가 보상 해킹을 초래할 수 있음을 보여줍니다. Zelikman et al. (2023)은 모델이 동일한 코드 개선자를 사용하여 코드 개선자를 반복적으로 개선하는 부트스트랩 루프를 구현하는 방법을 보여주고, Haluptzok et al. (2023)은 언어 모델이 프로그래밍 퍼즐을 통해 프로그래밍 능력을 부트스트랩하는 방법을 보여줍니다(Schuster et al., 2021). 다른 연구에서는 유도 추론 작업을 해결하거나 실제 시스템을 모델링하기 위해 언어 모델에 유사한 전략을 사용했습니다(Wang et al., 2023; Qiu et al., 2023; Zhu et al., 2023; Li et al., 2024).