Large Language Models For Reinforcement Learning.Nevertheless, even state-of-the-art models frequently manifest logical errors and a range of illusions [70, 71]. These anomalies become especially challenging within domains necessitating multi-step reasoning, where a singular logical misstep maybe precipitate the unraveling of an entire solution. An effective strategy involves the training of reward models aimed at discriminating between favorable and unfavorable outputs [36]. Early outcome-based approaches were mainly performed on algorithmic tasks [72, 73, 74, 75]. [42] demonstrated the significant benefits of reward models or validators, and [76] proposed a heuristic-based step-size-aware RM. [77, 78, 2, 79] proposed the use of reward models for a reinforcement learning pipeline. [20, 37, 38, 39, 42, 80, 81, 82] employed rejection sampling for searching to achieve alignment of LLMs with human preferences.
강화 학습을 위한 Large Language Models (LLMs). 그럼에도 불구하고 최신 모델에서도 논리적 오류와 다양한 환상이 자주 나타납니다[70, 71]. 이러한 이상 현상은 특히 다단계 추론이 필요한 영역에서 더욱 어려워지는데, 한 번의 논리적 실수가 전체 솔루션의 해체를 초래할 수 있습니다. 효과적인 전략은 유리한 출력과 불리한 출력을 구별하는 데 목표를 둔 reward models을 훈련하는 것입니다[36]. 초기 결과 기반 접근 방식은 주로 알고리즘 작업[72, 73, 74, 75]에서 수행되었습니다. [42]는 reward models 또는 validators의 중요한 이점을 입증했으며, [76]은 heuristic-based step-size-aware RM을 제안했습니다. [77, 78, 2, 79]는 reinforcement learning 파이프라인에 reward models을 사용할 것을 제안했습니다. [20, 37, 38, 39, 42, 80, 81, 82]는 LLM을 사람의 선호도에 맞추기 위해 검색에 rejection sampling을 사용했습니다.
강화 학습을 위한 대규모 언어 모델.그럼에도 불구하고 최신 모델에서도 논리적 오류와 다양한 환상이 자주 나타납니다[70, 71]. 이러한 이상 현상은 특히 다단계 추론이 필요한 영역에서 더욱 어려워지는데, 한 번의 논리적 실수가 전체 솔루션의 해체를 초래할 수 있습니다. 효과적인 전략은 유리한 출력과 불리한 출력을 구별하는 데 목표를 둔 보상 모델을 훈련하는 것입니다[36]. 초기 결과 기반 접근 방식은 주로 알고리즘 작업[72, 73, 74, 75]에서 수행되었습니다. [42]는 보상 모델 또는 유효성 검사기의 중요한 이점을 입증했으며, [76]은 휴리스틱 기반의 단계 크기 인식 RM을 제안했습니다. [77, 78, 2, 79]는 강화 학습 파이프라인에 보상 모델을 사용할 것을 제안했습니다. [20, 37, 38, 39, 42, 80, 81, 82]는 LLM을 사람의 선호도에 맞추기 위해 검색에 거부 샘플링을 사용했습니다.