Filtering and Postprocessing.To encourage diversity, a new instruction is added to the task pool only when its ROUGE-L similarity with any exist ing instruction is less than 0.7. We also exclude instructions that contain some specific keywords (e.g., image, picture, graph) that usually can not be processed by LMs. When generating new instances for each instruction, we filter out instances that are exactly the same or those with the same input but different outputs. Invalid generations are identified and filtered out based on heuristics (e.g., instruction is too long or too short, instance output is a repetition of the input).
필터링 및 후처리. 다양성을 장려하기 위해 기존 instruction과의 ROUGE-L 유사도가 0.7 미만일 때만 작업 풀에 새로운 instruction이 추가됩니다. 또한 일반적으로 LMs으로 처리할 수 없는 일부 특정 키워드(예: 이미지, 그림, 그래프)가 포함된 instruction도 제외합니다. 각 instruction에 대한 새 인스턴스를 생성할 때 정확히 동일한 인스턴스 또는 입력은 같지만 출력이 다른 인스턴스를 필터링합니다. 잘못된 생성은 휴리스틱(예: instruction이 너무 길거나 짧음, 인스턴스 출력이 입력의 반복)을 기반으로 식별 및 필터링됩니다.
필터링 및 후처리.다양성을 장려하기 위해 기존 지침과의 ROUGE-L 유사도가 0.7 미만일 때만 작업 풀에 새로운 지침이 추가됩니다. 또한 일반적으로 LM으로 처리할 수 없는 일부 특정 키워드(예: 이미지, 그림, 그래프)가 포함된 지침도 제외합니다. 각 지침에 대한 새 인스턴스를 생성할 때 정확히 동일한 인스턴스 또는 입력은 같지만 출력이 다른 인스턴스를 필터링합니다. 잘못된 생성은 휴리스틱(예: 지침이 너무 길거나 짧음, 인스턴스 출력이 입력의 반복)을 기반으로 식별 및 필터링됩니다.