**Training data and settings.** Our training data consists of diverse instruction-following input-output pairs. In particular, we sample instances from Open-Instruct processed data (Wang et al., 2023) and knowledge-intensive datasets (Petroni et al., 2021; Stelmakh et al., 2022; Mihaylov et al., 2018). In total, we use 150k instruction-output pairs. We use Llama 7B and 13B (Touvron et al., 2023) as our generator base LM, and we use Llama2 7B as our base critic LM. For the retriever model \(\mathcal{R}\), we use off-the-shelf Contriever-MS MARCO (Izacard et al., 2022) by default and retrieve up to ten documents for each input. More training details are in the Appendix Section B.1.
**Training data and settings**. 훈련 데이터는 다양한 instruction-following 입력-출력 쌍으로 구성됩니다. 특히, Open-Instruct 처리된 데이터(Wang et al., 2023)와 지식 집약적 데이터 세트(Petroni et al., 2021; Stelmakh et al., 2022; Mihaylov et al., 2018)에서 인스턴스를 샘플링합니다. 총 15만 개의 instruction-output 쌍을 사용합니다. 생성기 기반 LM으로 Llama 7B와 13B(Touvron et al., 2023)를 사용하고, 기반 비평가 LM으로 Llama2 7B를 사용합니다. 검색 모델 \(\mathcal{R}\)의 경우, 기본적으로 오프더 셸프 Contriever-MS MARCO(Izacard et al., 2022)를 사용하고 각 입력에 대해 최대 10개의 문서를 검색합니다. 자세한 훈련 내용은 부록 섹션 B.1을 참조하세요.
**훈련 데이터 및 설정**. 훈련 데이터는 다양한 지침에 따르는 입력-출력 쌍으로 구성됩니다. 특히, Open-Instruct 처리된 데이터(Wang et al., 2023)와 지식 집약적 데이터 세트(Petroni et al., 2021; Stelmakh et al., 2022; Mihaylov et al., 2018)에서 인스턴스를 샘플링합니다. 총 15만 개의 명령어-출력 쌍을 사용합니다. 생성기 기반 LM으로 Llama 7B와 13B(Touvron et al., 2023)를 사용하고, 기반 비평가 LM으로 Llama2 7B를 사용합니다. 검색 모델 $\mathcal{R}$의 경우, 기본적으로 오프더 셸프 Contriever-MS MARCO(Izacard et al., 2022)를 사용하고 각 입력에 대해 최대 10개의 문서를 검색합니다. 자세한 훈련 내용은 부록 섹션 B.1을 참조하세요.