\(\bullet\)_PaLM_ (540B) [56] uses a pre-training dataset of 780B tokens, which is sourced from social media conversations, filtered webpages, books, Github, multilingual Wikipedia, and news.
\(\bullet\)_PaLM_(540B) [56]은 소셜 미디어 대화, 필터링된 웹 페이지, 책, Github, 다국어 Wikipedia, 뉴스에서 소싱한 780B 토큰의 pre-training 데이터 세트를 사용합니다.
\(\bullet\)_PaLM_(540B) [56]은 소셜 미디어 대화, 필터링된 웹 페이지, 책, Github, 다국어 위키피디아, 뉴스에서 소싱한 780B 토큰의 사전 학습 데이터 세트를 사용합니다.