different models, as each test example sees completely different 5 training examples across models. To overcome this randomness and make the comparisons more fair, we set aside a pool of 50 labeled data samples from the training dataset for each task, referred to as the "shot pool". For the remaining training samples, we remove their labels and utilize them as unlabeled task data, which is used in our data selection strategy utilizing task data. This particular configuration is adopted because we do not have access to unlabeled task data to evaluate the efficacy of TACP. By using this setup, we also simulate the constraints posed by scarce labeled data. Although this approach creates unlabeled task data for TACP, the size is too small, containing only 0.24 million tokens from the four tasks.
각 테스트 예제는 모델마다 완전히 다른 5개의 학습 예제를 보게 되므로 모델마다 다릅니다. 이러한 무작위성을 극복하고 비교를 더 공정하게 하기 위해 각 작업에 대해 학습 데이터 세트에서 50개의 레이블이 지정된 데이터 샘플을 "shot pool"이라고 하는 풀로 따로 설정했습니다. 나머지 학습 샘플의 레이블을 제거하고 레이블이 지정되지 않은 작업 데이터로 활용하여 작업 데이터를 활용하는 데이터 선택 전략에 사용합니다. 이러한 특정 구성은 TACP의 효능을 평가하기 위해 레이블이 지정되지 않은 작업 데이터에 액세스할 수 없기 때문에 채택되었습니다. 이 설정을 사용함으로써 우리는 부족한 레이블이 지정된 데이터가 부과하는 제약 조건도 시뮬레이션합니다. 이 접근 방식은 TACP를 위한 레이블이 지정되지 않은 작업 데이터를 생성하지만, 그 크기가 너무 작아서 네 가지 작업에서 0.24 million tokens만 포함하고 있습니다.
각 테스트 예제는 모델마다 완전히 다른 5개의 학습 예제를 보게 되므로 모델마다 다릅니다. 이러한 무작위성을 극복하고 비교를 더 공정하게 하기 위해 각 작업에 대해 학습 데이터 세트에서 50개의 레이블이 지정된 데이터 샘플을 "샷 풀"이라고 하는 풀로 따로 설정했습니다. 나머지 학습 샘플의 레이블을 제거하고 레이블이 지정되지 않은 작업 데이터로 활용하여 작업 데이터를 활용하는 데이터 선택 전략에 사용합니다. 이러한 특정 구성은 TACP의 효능을 평가하기 위해 레이블이 지정되지 않은 작업 데이터에 액세스할 수 없기 때문에 채택되었습니다. 이 설정을 사용함으로써 우리는 부족한 레이블이 지정된 데이터가 부과하는 제약 조건도 시뮬레이션합니다. 이 접근 방식은 TACP를 위한 레이블이 지정되지 않은 작업 데이터를 생성하지만, 그 크기가 너무 작아서 네 가지 작업에서 024만 토큰만 포함하고 있습니다.