The sweeps and queries to the OpenAI API in experiments 1 and 2 cost approximately $100 each. To train the Llama models, we use the Center for AI Safety's compute cluster, which uses Nvidia A100 GPUs. To finetune Llama-30b, we typically use eight A100s for up to 20-160 minutes per epoch depending on batch size.
실험 1과 2에서 OpenAI API에 대한 스윕 및 쿼리 비용은 각각 약 100달러입니다. Llama 모델을 훈련하기 위해 AI 안전 센터의 컴퓨팅 클러스터를 사용하며, 이 클러스터는 Nvidia A100 GPU를 사용합니다. Llama-30b를 Fine-tuning하기 위해 일반적으로 Batch Size에 따라 에포크당 최대 20~160분 동안 8개의 A100을 사용합니다.
실험 1과 2에서 OpenAI API에 대한 스윕 및 쿼리 비용은 각각 약 100달러입니다. Llama 모델을 훈련하기 위해 AI 안전 센터의 컴퓨팅 클러스터를 사용하며, 이 클러스터는 Nvidia A100 GPU를 사용합니다. Llama-30b를 미세 조정하기 위해 일반적으로 배치 크기에 따라 에포크당 최대 20~160분 동안 8개의 A100을 사용합니다.