on 6144 TPU v4 chips using the Pathways system, which enables highly efficient training across multiple TPU Pods. PaLM demonstrates continued benefits of scaling by achieving state-of-the-art few-shot learning results on hundreds of language understanding and generation benchmarks. PaLM-540B outperforms not only state-of-the-art fine-tuned models on a suite of multi-step reasoning tasks, but also on par with humans on the recently released BIG-bench benchmark.
여러 TPU 포드에서 고효율 훈련이 가능한 Pathways 시스템을 사용하여 6144개의 TPU v4 칩에서 훈련되었습니다. PaLM은 수백 개의 언어 이해 및 생성 벤치마크에서 최첨단 few-shot learning 결과를 달성하여 확장의 지속적인 이점을 입증합니다. PaLM-540B는 다단계 추론 작업 제품군에서 최첨단 Fine-tuned 모델뿐만 아니라 최근 출시된 BIG-bench 벤치마크에서도 인간 수준의 성능을 발휘합니다.
여러 TPU 포드에서 고효율 훈련이 가능한 Pathways 시스템을 사용하여 6144개의 TPU v4 칩에서 훈련되었습니다. PaLM은 수백 개의 언어 이해 및 생성 벤치마크에서 최첨단 몇 번의 샷 학습 결과를 달성하여 확장의 지속적인 이점을 입증합니다. PaLM-540B는 다단계 추론 작업 제품군에서 최첨단 미세 조정 모델뿐만 아니라 최근 출시된 BIG-bench 벤치마크에서도 인간 수준의 성능을 발휘합니다.