In July 2023, Meta, in partnership with Microsoft, released the LLaMA-2 collection [61], which include both foundation language models and Chat models finetuned for dialog, known as LLaMA-2 Chat. The LLaMA-2 Chat models were reported to outperform other open-source models on many public benchmarks. Fig 12 shows the training process of LLaMA-2 Chat. The process begins with pre-training LLaMA-2 using publicly available online data. Then, an initial version of LLaMA-2 Chat is built via supervised fine-tuning. Subsequently, the model is iteratively refined using RLHF, rejection sampling and proximal policy optimization. In the RLHF stage, the accumulation of human feedback for revising the reward model is crucial to prevent the reward model from being changed too much, which could hurt the stability of LLaMA model training.
2023년 7월, Meta는 Microsoft와 협력하여 LLaMA-2 컬렉션[61]을 출시했는데, 여기에는 기반 언어 모델과 대화에 맞게 Fine-tuning된 채팅 모델인 LLaMA-2 Chat가 포함되어 있습니다. LLaMA-2 Chat 모델은 많은 공개 벤치마크에서 다른 오픈 소스 모델보다 뛰어난 성능을 발휘하는 것으로 보고되었습니다. 그림 12는 LLaMA-2 Chat의 학습 과정을 보여줍니다. 이 과정은 공개적으로 사용 가능한 온라인 데이터를 사용하여 LLaMA-2를 사전 학습하는 것으로 시작됩니다. 그런 다음 Supervised Fine-tuning을 통해 LLaMA-2 Chat의 초기 버전이 구축됩니다. 이후 RLHF, 거부 샘플링 및 근접 정책 최적화를 사용하여 모델을 반복적으로 개선합니다. RLHF 단계에서는 보상 모델을 너무 많이 변경하여 LLaMA 모델 학습의 안정성을 해치지 않도록 보상 모델을 수정하기 위한 사람의 피드백을 축적하는 것이 중요합니다.
2023년 7월, Meta는 Microsoft와 협력하여 LLaMA-2 컬렉션[61]을 출시했는데, 여기에는 기반 언어 모델과 대화에 맞게 미세 조정된 채팅 모델인 LLaMA-2 Chat가 포함되어 있습니다. LLaMA-2 Chat 모델은 많은 공개 벤치마크에서 다른 오픈 소스 모델보다 뛰어난 성능을 발휘하는 것으로 보고되었습니다. 그림 12는 LLaMA-2 Chat의 학습 과정을 보여줍니다. 이 과정은 공개적으로 사용 가능한 온라인 데이터를 사용하여 LLaMA-2를 사전 학습하는 것으로 시작됩니다. 그런 다음 지도 미세 조정을 통해 LLaMA-2 Chat의 초기 버전이 구축됩니다. 이후 RLHF, 거부 샘플링 및 근접 정책 최적화를 사용하여 모델을 반복적으로 개선합니다. RLHF 단계에서는 보상 모델을 너무 많이 변경하여 LLaMA 모델 학습의 안정성을 해치지 않도록 보상 모델을 수정하기 위한 사람의 피드백을 축적하는 것이 중요합니다.