The U-PaLM models of 8B, 62B, and 540B scales are continually trained on PaLM with UL2R, a method of continue training LLMs on a few steps with UL2's mixture-of-denoiser objective [73]. An approximately 2x computational savings rate is reported.
8B, 62B 및 540B 규모의 U-PaLM 모델은 UL2의 mixture-of-denoiser objective[73]를 사용하여 몇 단계로 LLM을 계속 훈련하는 방법인 UL2R을 사용하여 PaLM에 대해 지속적으로 훈련됩니다. 약 2배의 계산 비용 절감 효과가 보고되었습니다.
8B, 62B 및 540B 규모의 U-PaLM 모델은 UL2의 노이즈 제거기 혼합 목표[73]를 사용하여 몇 단계로 LLM을 계속 훈련하는 방법인 UL2R을 사용하여 PaLM에 대해 지속적으로 훈련됩니다. 약 2배의 계산 비용 절감 효과가 보고되었습니다.