We modify the codebase of Nanda and Bloom (2022) to run the experiments. We use 1-8 40GB A100 GPUs for the experiments. All experiments run in less than 24 hours. We use the model weights from HuggingFace Transformers (Wolf et al., 2020) and use full precision for LLaMA-2 7B and 13B and half-precision for 70B. The SPARQL queries for querying Wikidata are written with the help of GPT-4 (OpenAI et al., 2023).
Nanda와 Bloom (2022)의 코드베이스를 수정하여 실험을 수행합니다. 실험에는 1-8개의 40GB A100 GPU를 사용합니다. 모든 실험은 24시간 이내에 완료됩니다. HuggingFace Transformers (Wolf et al., 2020)에서 모델 가중치를 사용하며, LLaMA-2 7B와 13B에는 풀 프리시전을, 70B에는 하프 프리시전을 사용합니다. Wikidata를 쿼리하기 위한 SPARQL 쿼리는 GPT-4 (OpenAI et al., 2023)의 도움을 받아 작성되었습니다.
실험을 실행하기 위해 Nanda와 Bloom(2022)의 코드베이스를 수정합니다. 실험에는 1~8개의 40GB A100 GPU를 사용합니다. 모든 실험은 24시간 이내에 완료됩니다. 모델 가중치는 HuggingFace Transformers(Wolf et al., 2020)에서 사용하며, LLaMA-2 7B 및 13B의 경우 전체 정밀도를, 70B의 경우 반 정밀도를 사용합니다. 위키데이터를 쿼리하기 위한 SPARQL 쿼리는 GPT-4(OpenAI et al., 2023)의 도움으로 작성됩니다.