\(\bullet\)_LLaMA_[57] extracts training data from various sources, including CommonCrawl, C4 [82], Github, Wikipedia, books, ArXiv, and StackExchange. The training data size for LLaMA (6B) and LLaMA (13B) is 1.0T tokens, while 1.4T tokens are used for LLaMA (32B) and LLaMA (65B).
\(\bullet\)_LLaMA_[57]는 CommonCrawl, C4 [82], Github, Wikipedia, 책, ArXiv, StackExchange 등 다양한 소스에서 학습 데이터를 추출합니다. LLaMA(6B)와 LLaMA(13B)의 학습 데이터 크기는 1.0T tokens이고, LLaMA(32B)와 LLaMA(65B)에는 1.4T tokens이 사용됩니다.
\(\bullet\)_LLaMA_[57]는 CommonCrawl, C4 [82], Github, Wikipedia, 책, ArXiv, StackExchange 등 다양한 소스에서 학습 데이터를 추출합니다. LLaMA(6B)와 LLaMA(13B)의 학습 데이터 크기는 1.0T 토큰이고, LLaMA(32B)와 LLaMA(65B)에는 1.4T 토큰이 사용됩니다.