WebGPT [58] is another descendant of GPT-3, fine-tuned to answer open-ended questions using a text-based web browser, facilitating users to search and navigate the web. Specifically, WebGPT is trained in three steps. The first is for WebGPT to learn to mimic human browsing behaviors using human demonstration data. Then, a reward function is learned to predict human preferences. Finally, WebGPT is refined to optimize the reward function via reinforcement learning and rejection sampling.
WebGPT [58]는 텍스트 기반 웹 브라우저를 사용하여 개방형 질문에 답변하고 사용자가 웹을 검색하고 탐색할 수 있도록 하기 위해 Fine-tuning된 GPT-3의 또 다른 후손입니다. 특히 WebGPT는 세 단계로 학습됩니다. 첫 번째는 WebGPT가 인간의 데모 데이터를 사용하여 인간의 브라우징 행동을 모방하는 방법을 학습하는 것입니다. 그런 다음 보상 함수를 학습하여 사용자의 선호도를 예측합니다. 마지막으로 WebGPT는 Reinforcement Learning과 거부 샘플링을 통해 보상 함수를 최적화하도록 개선됩니다.
WebGPT [58]는 텍스트 기반 웹 브라우저를 사용하여 개방형 질문에 답변하고 사용자가 웹을 검색하고 탐색할 수 있도록 하기 위해 미세 조정된 GPT-3의 또 다른 후손입니다. 특히 WebGPT는 세 단계로 학습됩니다. 첫 번째는 WebGPT가 인간의 데모 데이터를 사용하여 인간의 브라우징 행동을 모방하는 방법을 학습하는 것입니다. 그런 다음 보상 함수를 학습하여 사용자의 선호도를 예측합니다. 마지막으로 WebGPT는 강화 학습과 거부 샘플링을 통해 보상 함수를 최적화하도록 개선됩니다.