We conduct experiments on different model sizes. First, to show the effectiveness of stage-2 context-enhanced instruction tuning, we compare against the **Llama2-SFT-7B/13B/70B**, which is the Llama2-7B/13B/70B foundation model after the stage-1 supervised fine-tuning (SFT). Second, we compare against **Llama2-Chat-7B/13B/70B** since Llama2-Chat models are shown to possess strong instruction following and conversational QA capabilities (Touvron et al., 2023). Aside from Llama2 models, we also conduct experiments on our in-house GPT-8B foundation model, and we compare against its stage-1 SFT baseline (**GPT-8B-SFT**). Finally, we compare against two very strong OpenAI models: **GPT-3.5-turbo (4k)** and **GPT-4 (8k)**. For fair comparison, we use the same context as inputs for both our models and baselines.
다양한 모델 크기로 실험을 수행합니다. 먼저, 2단계 컨텍스트 강화 Instruction Tuning의 효과를 보여주기 위해 1단계 Supervised Fine-tuning (SFT) 후의 Llama2-7B/13B/70B 기반 모델인 **Llama2-SFT-7B/13B/70B**와 비교합니다. 둘째, Llama2-Chat 모델이 강력한 Instruction 추종 및 대화형 QA 기능을 갖추고 있는 것으로 나타났으므로 **Llama2-Chat-7B/13B/70B**와 비교합니다. Llama2 모델 외에도 사내 GPT-8B 기반 모델에 대한 실험도 수행했으며, 1단계 SFT 기준선(**GPT-8B-SFT**)과 비교했습니다. 마지막으로, 매우 강력한 두 개의 OpenAI 모델인 **GPT-3.5-turbo (4k)**와 **GPT-4 (8k)**와 비교합니다. 공정한 비교를 위해 두 모델과 베이스라인 모두 동일한 컨텍스트를 입력으로 사용합니다.
다양한 모델 크기로 실험을 수행합니다. 먼저, 2단계 컨텍스트 강화 명령어 튜닝의 효과를 보여주기 위해 1단계 지도 미세 조정(SFT) 후의 Llama2-7B/13B/70B 기반 모델인 **Llama2-SFT-7B/13B/70B**와 비교합니다. 둘째, Llama2-Chat 모델이 강력한 명령어 추종 및 대화형 QA 기능을 갖추고 있는 것으로 나타났으므로 **Llama2-Chat-7B/13B/70B**와 비교합니다. Llama2 모델 외에도 사내 GPT-8B 기반 모델에 대한 실험도 수행했으며, 1단계 SFT 기준선(**GPT-8B-SFT**)과 비교했습니다. 마지막으로, 매우 강력한 두 개의 OpenAI 모델인 **GPT-3.5-turbo(4k)**와 **GPT-4(8k)**와 비교합니다. 공정한 비교를 위해 두 모델과 베이스라인 모두 동일한 컨텍스트를 입력으로 사용합니다.