<commit_before># -*- coding: utf-8  -*-
from pywikibot import family

__version__ = '$Id$'

# The Wikimedia family that is known as Wikipedia, the Free Encyclopedia

class Family(family.Family):
    def __init__(self):
        family.Family.__init__(self)
        self.name = 'wikipedia'

        self.languages_by_size = [
            'en', 'de', 'fr', 'pl', 'it', 'ja', 'es', 'ru', 'pt', 'nl', 'sv',
            'zh', 'ca', 'no', 'uk', 'fi', 'vi', 'cs', 'hu', 'ko', 'ro', 'id',
            'tr', 'da', 'ar', 'eo', 'sr', 'lt', 'sk', 'fa', 'vo', 'he', 'ms',
            'bg', 'sl', 'war', 'hr', 'et', 'hi', 'gl', 'new', 'simple', 'th',
            'eu', 'nn', 'roa-rup', 'el', 'az', 'ht', 'la', 'tl', 'te', 'ka',
            'mk', 'ceb', 'sh', 'br', 'pms', 'be-x-old', 'lv', 'mr', 'jv', 'lb',
            'cy', 'sq', 'bs', 'is', 'ta', 'be', 'an', 'bpy', 'oc', 'bn', 'io',
            'sw', 'lmo', 'fy', 'gu', 'ml', 'nds', 'af', 'scn', 'ur', 'qu', 'ku',
            'zh-yue', 'su', 'ast', 'hy', 'nap', 'bat-smg', 'yo', 'ga', 'cv',
            'wa', 'ne', 'pnb', 'kn', 'tg', 'roa-tara', 'vec', 'kk', 'tt', 'yi',
            'als', 'zh-min-nan', 'gd', 'os', 'uz', 'pam', 'sah', 'arz', 'am',
            'mi', 'li', 'nah', 'hsb', 'sco', 'gan', 'co', 'glk', 'mn', 'bug',
            'ia', 'my', 'bcl', 'fo', 'fiu-vro', 'nds-nl', 'si', 'vls', 'tk',
            'sa', 'bar', 'mg', 'gv', 'ilo', 'dv', 'map-bms', 'nrm', 'pag',
            'ckb', 'diq', 'rm', 'se', 'mzn', 'wuu', 'fur', 'ug', 'lij', 'mt',
            'bo', 'bh', 'ang', 'nov', 'hif', 'csb', 'sc', 'lad', 'zh-classical',
            'km', 'cbk-zam', 'pi', 'ps', 'frp', 'hak', 'kw', 'rue', 'ksh', 'pa',
            'nv', 'szl', 'xal', 'pdc', 'haw', 'stq', 'ie', 'udm', 'so', 'mhr',
            'kv', 'rw', 'to', 'krc', 'crh', 'ln', 'mrj', 'pcd', 'ace', 'myv',
            'ext', 'ky', 'gn', 'ce', 'eml', 'ba', 'arc', 'pap', 'ay', 'bjn',
            'jbo', 'wo', 'kl', 'frr', 'tpi', 'kab', 'ty', 'srn', 'zea', 'gag',
            'ab', 'dsb', 'koi', 'lo', 'or', 'ig', 'av', 'kg', 'mdf', 'tet',
            'mwl', 'lbe', 'rmy', 'cu', 'kaa', 'sm', 'got', 'ks', 'bm', 'ik',
            'sd', 'bi', 'as', 'pfl', 'na', 'pih', 'iu', 'pnt', 'ss', 'chr',
            'cdo', 'ha', 'ee', 'ti', 'om', 'zu', 'za', 've', 'ts', 'bxr', 'rn',
            'sg', 'dz', 'cr', 'ch', 'lg', 'fj', 'tum', 'ny', 'st', 'ak', 'xh',
            'ff', 'tn', 'ki', 'sn', 'tw', 'chy',
        ]

        for lang in self.languages_by_size:
            self.langs[lang] = '%s.wikipedia.org' % lang

        self.category_redirect_templates = {
            '_default': (),
            'ar': (u"تحويل تصنيف",
                   u"تحويلة تصنيف",
                   u"Category redirect",
                   u"تحويلة تصنيف",),
            'arz': (u'تحويل تصنيف',),<commit_msg>update language_by_size from trunk r9114<commit_after># -*- coding: utf-8  -*-
from pywikibot import family

__version__ = '$Id$'

# The Wikimedia family that is known as Wikipedia, the Free Encyclopedia

class Family(family.Family):
    def __init__(self):
        family.Family.__init__(self)
        self.name = 'wikipedia'

        self.languages_by_size = [
            'en', 'de', 'fr', 'pl', 'it', 'ja', 'es', 'ru', 'pt', 'nl', 'sv',
            'zh', 'ca', 'no', 'uk', 'fi', 'vi', 'cs', 'hu', 'ko', 'id', 'ro',
            'tr', 'da', 'ar', 'eo', 'sr', 'lt', 'sk', 'fa', 'vo', 'he', 'ms',
            'bg', 'sl', 'war', 'hr', 'et', 'hi', 'gl', 'new', 'simple', 'th',
            'eu', 'nn', 'roa-rup', 'el', 'az', 'ht', 'la', 'tl', 'te', 'ka',
            'mk', 'ceb', 'sh', 'br', 'pms', 'be-x-old', 'lv', 'mr', 'jv', 'lb',
            'cy', 'sq', 'bs', 'is', 'ta', 'be', 'an', 'bpy', 'oc', 'bn', 'io',
            'sw', 'lmo', 'fy', 'gu', 'ml', 'nds', 'af', 'scn', 'ur', 'qu', 'ku',
            'zh-yue', 'su', 'ast', 'hy', 'nap', 'yo', 'bat-smg', 'cv', 'ga',
            'wa', 'ne', 'pnb', 'kn', 'tg', 'roa-tara', 'vec', 'kk', 'tt', 'yi',
            'als', 'zh-min-nan', 'gd', 'os', 'uz', 'pam', 'sah', 'arz', 'am',
            'mi', 'li', 'hsb', 'nah', 'sco', 'bug', 'gan', 'co', 'glk', 'mn',
            'my', 'ia', 'bcl', 'fo', 'fiu-vro', 'nds-nl', 'si', 'vls', 'tk',
            'sa', 'bar', 'mg', 'gv', 'ilo', 'dv', 'map-bms', 'nrm', 'pag',
            'ckb', 'diq', 'rm', 'se', 'mzn', 'wuu', 'fur', 'ug', 'lij', 'mt',
            'bo', 'bh', 'ang', 'nov', 'hif', 'csb', 'sc', 'lad', 'zh-classical',
            'km', 'cbk-zam', 'pi', 'ps', 'frp', 'hak', 'kw', 'rue', 'ksh', 'pa',
            'nv', 'szl', 'xal', 'pdc', 'haw', 'stq', 'ie', 'udm', 'so', 'mhr',
            'kv', 'rw', 'to', 'krc', 'mrj', 'crh', 'ln', 'pcd', 'ace', 'myv',
            'ext', 'ky', 'gn', 'ce', 'eml', 'ba', 'arc', 'pap', 'ay', 'bjn',
            'jbo', 'wo', 'kl', 'frr', 'tpi', 'kab', 'ty', 'srn', 'zea', 'gag',
            'ab', 'dsb', 'koi', 'lo', 'or', 'ig', 'av', 'kg', 'mdf', 'tet',
            'mwl', 'lbe', 'rmy', 'cu', 'ltg', 'kaa', 'sm', 'kbd', 'got', 'ks',
            'bm', 'ik', 'sd', 'bi', 'as', 'pfl', 'na', 'pih', 'iu', 'pnt', 'ss',
            'chr', 'cdo', 'ha', 'ee', 'ti', 'om', 'zu', 'za', 've', 'ts', 'bxr',
            'rn', 'sg', 'dz', 'cr', 'ch', 'lg', 'fj', 'tum', 'ny', 'st', 'ak',
            'xh', 'ff', 'tn', 'ki', 'sn', 'tw', 'chy',
        ]

        for lang in self.languages_by_size:
            self.langs[lang] = '%s.wikipedia.org' % lang

        self.category_redirect_templates = {
            '_default': (),
            'ar': (u"تحويل تصنيف",
                   u"تحويلة تصنيف",
                   u"Category redirect",
                   u"تحويلة تصنيف",),
            'arz': (u'تحويل تصنيف',),
{'fraction_non_alphanumeric': 0.32201883774657897, 'fraction_numerical': 0.0010662875422072153, 'mean_word_length': 2.316440777843253, 'pattern_counts': {'":': 0, '<': 3, '<?xml version=': 0, '>': 3, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '4808762', 'n_tokens_mistral': 2445, 'n_tokens_neox': 2398, 'n_words': 639}