In addition to model training, evaluation and inference were performed on 64-core TPU v3 pod slices. Generating 100,000 sequences from the XL models takes approximately 0.64 hours. We generated 100,000 sequences for each of five types of prompts for two checkpoints of the model for a total of 1M sequences per model. This took approximately 19.2 hours. We estimate generating 3M sequences uses \(0.43MWh\).
모델 학습 외에도 64코어 TPU v3 pod slices에서 평가 및 추론을 수행했습니다. XL 모델에서 100,000개의 시퀀스를 생성하는 데 약 0.64시간이 소요됩니다. 모델의 두 체크포인트에 대해 5가지 유형의 prompts 각각에 대해 100,000개의 시퀀스를 생성하여 총 1M개의 시퀀스를 생성했습니다. 이 과정은 약 19.2시간이 걸렸습니다. 3M 시퀀스를 생성하는 데는 약 0.43MWh가 소요될 것으로 예상됩니다.
모델 학습 외에도 64코어 TPU v3 포드 슬라이스에서 평가 및 추론을 수행했습니다. XL 모델에서 100,000개의 시퀀스를 생성하는 데 약 0.64시간이 소요됩니다. 모델의 두 체크포인트에 대해 5가지 유형의 프롬프트 각각에 대해 100,000개의 시퀀스를 생성하여 총 1M개의 시퀀스를 생성했습니다. 이 과정은 약 19.2시간이 걸렸습니다. 3M 시퀀스를 생성하는 데는 약 0.43MWh가 소요될 것으로 예상됩니다.