Finally, we discuss some of the most relevant recent work. AttrPrompt (Yu et al., 2023) leverages LLM as attributed data generator by extracting attributes within instructions. However, it focuses solely on classification tasks and requires human intervention for attribute selection. In contrast, our work focuses on the broader context of aligning LLMs to follow open-domain instructions, eliminating the need for human efforts. MSP (Chen et al., 2023) utilizes trainable soft prompts to control generation, but requires gradient access to the LLM. Our method, on the other hand, is readily compatible with black-box LLMs that only offer API access for high-quality data generation. SteerLM (Dong et al., 2023) analyzes quality-related aspects of responses, instead of the instructions, to capture human preference. Therefore, SteerLM can be used alongside CodecLM as a parallel approach for enhancing response quality.
마지막으로 가장 관련성이 높은 최근 연구에 대해 논의합니다. AttrPrompt(Yu et al., 2023)는 명령어 내에서 속성을 추출하여 속성 데이터 생성기로 LLM을 활용합니다. 그러나 이 방법은 분류 작업에만 초점을 맞추고 있으며 속성 선택을 위해 사람의 개입이 필요합니다. 반면에 저희 연구는 LLM이 오픈 도메인 instructions를 따르도록 조정하는 더 넓은 맥락에 초점을 맞추고 있으며, 사람의 노력이 필요하지 않습니다. MSP(Chen et al., 2023)는 학습 가능한 소프트 프롬프트를 사용하여 생성을 제어하지만 LLM에 대한 gradient 액세스가 필요합니다. 반면에 저희 방법은 고품질 데이터 생성을 위한 API 액세스만 제공하는 블랙박스 LLM과 쉽게 호환할 수 있습니다. SteerLM(Dong et al., 2023)은 instructions 대신 응답의 품질 관련 측면을 분석하여 사람의 선호도를 포착합니다. 따라서 SteerLM은 응답 품질을 향상시키기 위한 병렬 접근 방식으로 CodecLM과 함께 사용할 수 있습니다.
마지막으로 가장 관련성이 높은 최근 연구에 대해 논의합니다. AttrPrompt(Yu et al., 2023)는 명령어 내에서 속성을 추출하여 속성 데이터 생성기로 LLM을 활용합니다. 그러나 이 방법은 분류 작업에만 초점을 맞추고 있으며 속성 선택을 위해 사람의 개입이 필요합니다. 반면에 저희 연구는 LLM이 오픈 도메인 명령을 따르도록 조정하는 더 넓은 맥락에 초점을 맞추고 있으며, 사람의 노력이 필요하지 않습니다. MSP(Chen et al., 2023)는 학습 가능한 소프트 프롬프트를 사용하여 생성을 제어하지만 LLM에 대한 그라디언트 액세스가 필요합니다. 반면에 저희 방법은 고품질 데이터 생성을 위한 API 액세스만 제공하는 블랙박스 LLM과 쉽게 호환할 수 있습니다. SteerLM(Dong et al., 2023)은 명령어 대신 응답의 품질 관련 측면을 분석하여 사람의 선호도를 포착합니다. 따라서 SteerLM은 응답 품질을 향상시키기 위한 병렬 접근 방식으로 CodecLM과 함께 사용할 수 있습니다.