region:us
---
configs:
  - config_name: all
    data_files:
    - split: train
      path:
        - data/ArXiv/train/*.parquet
        - data/BookCorpus2/train/*.parquet
        - data/Books3/train/*.arrow
        - data/DM Mathematics/train/*.parquet
        - data/Enron Emails/train/*.parquet
        - data/EuroParl/train/*.parquet
        - data/FreeLaw/train/*.parquet
        - data/Github/train/*.parquet
        - data/Gutenberg (PG-19)/train/*.parquet
        - data/HackerNews/train/*.parquet
        - data/NIH ExPorter/train/*.parquet
        - data/OpenSubtitles/train/*.parquet
        - data/OpenWebText2/train/*.parquet
        - data/PhilPapers/train/*.parquet
        - data/Pile-CC/train/*.parquet
        - data/PubMed Abstracts/train/*.parquet
        - data/PubMed Central/train/*.parquet
        - data/StackExchange/train/*.parquet
        - data/UPSTO Backgrounds/train/*.parquet
        - data/Ubuntu IRC/train/*.parquet
        - data/Wikipedia (en)/train/*.parquet
        - data/YoutubeSubtitles/train/*.parquet
      default : true
---