U-PaLM is later instruction-finetuned as Flan-PaLM [74]. Compared to other instruction finetuning work mentioned above, Flan-PaLM's finetuning is performed using a much larger number of tasks, larger model sizes, and chain-of-thought data. As a result, Flan-PaLM substantially outperforms previous instruction-following models. For instance, Flan-PaLM-540B, which is instruction-finetuned on 1.8K tasks, outperforms PaLM-540B by a large margin (+9.4% on average). The finetuning data comprises 473 datasets, 146 task categories, and 1,836 total tasks, as illustrated in Fig 14.
U-PaLM은 나중에 Flan-PaLM [74]으로 Instruction-finetuned됩니다. 위에서 언급한 다른 Instruction Fine-tuning 작업과 비교하여 Flan-PaLM의 Fine-tuning은 훨씬 더 많은 수의 작업, 더 큰 모델 크기, chain-of-thought 데이터를 사용하여 수행됩니다. 그 결과, Flan-PaLM은 이전의 Instruction-following 모델보다 훨씬 뛰어난 성능을 발휘합니다. 예를 들어, 1.8K 작업에 대해 Instruction-finetuned된 Flan-PaLM-540B는 PaLM-540B보다 평균 +9.4% 큰 폭으로 성능이 뛰어납니다. Fine-tuning 데이터는 그림 14와 같이 473개의 데이터 세트, 146개의 작업 카테고리, 총 1,836개의 작업으로 구성됩니다.
U-PaLM은 나중에 Flan-PaLM [74]으로 지시 튜닝됩니다. 위에서 언급한 다른 지시 미세 조정 작업과 비교하여 Flan-PaLM의 미세 조정은 훨씬 더 많은 수의 작업, 더 큰 모델 크기, 생각의 사슬 데이터를 사용하여 수행됩니다. 그 결과, Flan-PaLM은 이전의 지시어 수행 모델보다 훨씬 뛰어난 성능을 발휘합니다. 예를 들어, 1.8K 작업에 대해 지시 미세 조정된 Flan-PaLM-540B는 PaLM-540B보다 평균 +9.4% 큰 폭으로 성능이 뛰어납니다. 미세 조정 데이터는 그림 14와 같이 473개의 데이터 세트, 146개의 작업 카테고리, 총 1,836개의 작업으로 구성됩니다.