We study the open-domain instruction following problem (Wang et al., 2022; Taori et al., 2023; Xu et al., 2023), where instructions vary in input format and tasks. Specifically, we consider two practical scenarios: (1) Starting with a given set of \(n\) seed instructions \(\mathcal{D}_{s}=\{I_{i}\}_{i=1}^{n}\), each drawn from some underlying distribution \(P_{I}\). For our experiments, we create a set of seed instructions using a held-out validation set. Practically, such instructions can be collected from the usage traffic of users. (2) In the absence of seed instructions, but with prior knowledge of downstream tasks, we directly start with a given set of instruction metadata \(\mathcal{M}\) (see Section 4.1 for definition). The latter scenario is especially useful for end users who lack existing instruction data but wish to jumpstart LLM tailored to specific applications, similar to the concept of GPTs (OpenAI, 2023).
입력 형식과 작업이 다양한 오픈 도메인 Instruction 문제(Wang et al., 2022; Taori et al., 2023; Xu et al., 2023)를 연구합니다. 특히 (1) 주어진 \(n\)개의 시드 Instruction 집합 \(\mathcal{D}_{s}=\{I_{i}\}_{i=1}^{n}\)로 시작하여, 각각은 어떤 기본 분포 \(P_{I}\)에서 추출됩니다. 실험의 경우, 보류된 유효성 검사 집합을 사용하여 시드 Instruction 집합을 생성합니다. 실제로 이러한 Instruction은 사용자의 사용 트래픽에서 수집할 수 있습니다. (2) 시드 Instruction이 없지만 다운스트림 작업에 대한 사전 지식이 있는 경우, 주어진 Instruction 메타데이터 집합 \(\mathcal{M}\)으로 직접 시작합니다(정의는 섹션 4.1 참조). 후자의 시나리오는 기존 Instruction 데이터가 없지만 GPT(OpenAI, 2023)의 개념과 유사하게 특정 애플리케이션에 맞는 LLM을 시작하고자 하는 최종 사용자에게 특히 유용합니다.
입력 형식과 작업이 다양한 오픈 도메인 명령어 문제(Wang et al., 2022; Taori et al., 2023; Xu et al., 2023)를 연구합니다. 특히 (1) 주어진 \(n\)개의 시드 명령어 집합 \(\mathcal{D}_{s}=\{I_{i}\}_{i=1}^{n}\)로 시작하여, 각각은 어떤 기본 분포 \(P_{I}\)에서 추출됩니다. 실험의 경우, 보류된 유효성 검사 집합을 사용하여 시드 명령어 집합을 생성합니다. 실제로 이러한 명령어는 사용자의 사용 트래픽에서 수집할 수 있습니다. (2) 시드 명령어가 없지만 다운스트림 작업에 대한 사전 지식이 있는 경우, 주어진 명령어 메타데이터 집합 \(\mathcal{M}\)으로 직접 시작합니다(정의는 섹션 4.1 참조). 후자의 시나리오는 기존 명령어 데이터가 없지만 GPT(OpenAI, 2023)의 개념과 유사하게 특정 애플리케이션에 맞는 LLM을 시작하고자 하는 최종 사용자에게 특히 유용합니다.