<commit_before>LANG_MAPPING = {
    'English': 'english',
        'en':   'english',
        'en-GB': 'english',
        'en-gb': 'english',
        'en-US': 'english',
        'en-us': 'english',
        u'ingl\xe9s': u'english',
    
    'Catalan': 'catalan',
        'ca': 'catalan',
    
    'Chinese': 'chinese',
        'Chineset': 'chinese',
        'Chinese - Traditional': 'chinese',
    
    'Dutch': 'dutch',
    'French': 'french',
    'Spanish': 'spanish',
        'es': 'spanish',
        'es-ES': 'spanish',
        u'espa\xf1ol': u'spanish',
    'Hebrew': 'hebrew',
        'he': 'hebrew',
    'Indonesian': 'indonesian',
    'Italian': 'italian',
    'Japanese': 'japanese',
        'ja': 'japanese',
    'Persian': 'persian',
        'fa-IR': 'persian',
    'Polish': 'polish',
    'Portuguese': 'portuguese',
    'Russian': 'russian',
        'ru-ru': 'russian',
    'Galician': 'galician',
    'German': 'german',
    'Korean': 'korean',
    'Malay': 'malay',
    'Finnish': 'finnish',
    'Turkish': 'turkish',
    'Slovenian': 'slovenian',
    
    # 'Greek': 'greek',
    # 'Basque': 'basque',
    # 'Chamorro': 'chamorro',
    # 'Tagalog': 'tagalog',
    # 'Romanian': 'romanian',
    # 'Czech': 'czech',
    # 'Danish': 'danish',
    # 'Norwegian': 'norwegian',
    
}<commit_msg>remove catalan from available cores<commit_after>LANG_MAPPING = {
    'English': 'english',
        'en':   'english',
        'en-GB': 'english',
        'en-gb': 'english',
        'en-US': 'english',
        'en-us': 'english',
        u'ingl\xe9s': u'english',
    
    # 'Catalan': 'catalan',
    #     'ca': 'catalan',
    
    'Chinese': 'chinese',
        'Chineset': 'chinese',
        'Chinese - Traditional': 'chinese',
    
    'Dutch': 'dutch',
    'French': 'french',
    'Spanish': 'spanish',
        'es': 'spanish',
        'es-ES': 'spanish',
        u'espa\xf1ol': u'spanish',
    'Hebrew': 'hebrew',
        'he': 'hebrew',
    'Indonesian': 'indonesian',
    'Italian': 'italian',
    'Japanese': 'japanese',
        'ja': 'japanese',
    'Persian': 'persian',
        'fa-IR': 'persian',
    'Polish': 'polish',
    'Portuguese': 'portuguese',
    'Russian': 'russian',
        'ru-ru': 'russian',
    'Galician': 'galician',
    'German': 'german',
    'Korean': 'korean',
    'Malay': 'malay',
    'Finnish': 'finnish',
    'Turkish': 'turkish',
    'Slovenian': 'slovenian',
    
    # 'Greek': 'greek',
    # 'Basque': 'basque',
    # 'Chamorro': 'chamorro',
    # 'Tagalog': 'tagalog',
    # 'Romanian': 'romanian',
    # 'Czech': 'czech',
    # 'Danish': 'danish',
    # 'Norwegian': 'norwegian',
    
}
{'fraction_non_alphanumeric': 0.22382397572078908, 'fraction_numerical': 0.0015174506828528073, 'mean_word_length': 2.40258064516129, 'pattern_counts': {'":': 0, '<': 3, '<?xml version=': 0, '>': 3, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '4788173', 'n_tokens_mistral': 1082, 'n_tokens_neox': 1017, 'n_words': 188}