Computational Analysis.We run our algorithm on a single VM on the cloud with \(96\) cores and \(768\)GB of memory. Our algorithm is efficient, for example processing the Wiki-40B training set (\(3\) million examples containing \(4\)GB of text) in \(2.3\) minutes wall-clock time (\(2.1\) CPU-hours of work). The \(350\)GB C4 dataset takes under 12 hours (wall-clock) to build a suffix array; although we are still memory constrained and so this corresponds to \(\sim 1000\) CPU-hours. Once the suffix array has been constructed, it takes under an hour to deduplicate the C4 dataset.
계산 분석. 우리는 96개의 코어와 768GB의 메모리를 갖춘 클라우드의 단일 VM에서 알고리즘을 실행합니다. 예를 들어, 3백만 개의 예제(4GB의 텍스트 포함)로 구성된 Wiki-40B training set을 2.3분의 벽시계 시간(2.1시간의 CPU 작업 시간)으로 처리할 수 있을 정도로 효율적인 알고리즘입니다. 350GB C4 dataset은 접미사 배열을 구축하는 데 12시간(벽시계)이 걸리지만, 여전히 메모리 제약이 있으므로 CPU 1000시간에 해당합니다. 접미사 배열이 구성되면 C4 dataset의 중복을 제거하는 데 한 시간이 채 걸리지 않습니다.
계산 분석.우리는 96개의 코어와 768GB의 메모리를 갖춘 클라우드의 단일 VM에서 알고리즘을 실행합니다. 예를 들어, 3백만 개의 예제(4GB의 텍스트 포함)로 구성된 위키-40B 학습 세트를 2.3분의 벽시계 시간(2.1시간의 CPU 작업 시간)으로 처리할 수 있을 정도로 효율적인 알고리즘입니다. 350GB C4 데이터 세트는 접미사 배열을 구축하는 데 12시간(벽시계)이 걸리지만, 여전히 메모리 제약이 있으므로 CPU 1000시간에 해당합니다. 접미사 배열이 구성되면 C4 데이터 세트의 중복을 제거하는 데 한 시간이 채 걸리지 않습니다.