For these reasons, as well as the availability of large-scale legal corpora from the web, we chose to focus on _continued pretraining_. We meticulously curate a high-quality dataset sourced from diverse legal content repositories. After rigorous filtering Penedo et al. (2023) and deduplication Mou et al. (2023); Kocetkov et al. (2023), we end up with a corpus of \(30\) billion tokens, which serves as a robust foundation for continued pretraining.
이러한 이유와 웹에서 대규모 법률 코퍼스를 사용할 수 있다는 점 때문에 우리는 _continued pretraining_에 집중하기로 결정했습니다. 다양한 법률 콘텐츠 리포지토리에서 가져온 고품질 데이터 세트를 꼼꼼하게 큐레이션합니다. 엄격한 필터링 Penedo et al. (2023)과 중복 제거 Mou et al. (2023); Kocetkov et al. (2023)을 거친 후, 우리는 300억 개의 토큰으로 구성된 코퍼스를 확보하게 되는데, 이는 _continued pretraining_을 위한 강력한 기반이 됩니다.
이러한 이유와 웹에서 대규모 법률 코퍼스를 사용할 수 있다는 점 때문에 우리는 _지속적인 사전 학습_에 집중하기로 결정했습니다. 다양한 법률 콘텐츠 리포지토리에서 가져온 고품질 데이터 세트를 꼼꼼하게 큐레이션합니다. 엄격한 필터링 Penedo et al. (2023)과 중복 제거 Mou et al. (2023); Kocetkov et al. (2023)을 거친 후, 우리는 300억 개의 토큰으로 구성된 코퍼스를 확보하게 되는데, 이는 지속적인 사전 학습을 위한 강력한 기반이 됩니다.