<commit_before>{
    "formats": {
        "default": "{streetAddress}\n{locality}\n{region}\n{postalCode}\n{country}",
        "nocountry": "{streetAddress}\n{locality}\n{region}\n{postalCode}"
    },
    "startAt": "end",
    "fields": [
        {
            "name": "postalCode",
            "line": "last",
            "pattern": "([0-9०१२३४५६७८९]{6})$"
        },
        {
            "name": "region",
            "line": "last",
            "pattern": [
                "Andaman and Nicobar",
                "Andhra Pradesh",
                "Arunachal Pradesh",
                "Assam",
                "Bihar",
                "Chandigarh",
                "Chhattisgarh",
                "Dadra and Nagar Haveli",
                "Daman and Diu",
                "New Delhi",
                "Goa",
                "Gujarat",
                "Haryana",
                "Himachal Pradesh",
                "Jammu and Kashmir",
                "Jharkhand",
                "Karnataka",
                "Kerala",
                "Lakshadweep",
                "Madhya Pradesh",
                "Maharashtra",
                "Manipur",
                "Meghalaya",
                "Mizoram",
                "Nagaland",
                "Odisha",
                "Puducherry",
                "Punjab",
                "Rajasthan",
                "Sikkim",
                "Tamil Nadu",
                "Tripura",
                "Uttar Pradesh",
                "Uttarakhand",
                "West Bengal",
                "अंडमान और निकोबार",
                "आंध्र प्रदेश",
                "अरुणाचल प्रदेश",
                "असम",
                "बिहार",
                "चंडीगढ़",
                "छत्तीसगढ़",
                "दादरा और नगर ​​हवेली",
                "दमन और दीव",
                "नई दिल्ली",
                "गोवा",
                "गुजरात",
                "हरियाणा",
                "हिमाचल प्रदेश",
                "जम्मू और कश्मीर",
                "झारखंड",
                "कर्नाटक",
                "केरल",
                "लक्षद्वीप",
                "मध्य प्रदेश",
                "महाराष्ट्र",
                "मणिपुर",
                "मेघालय",
                "मिजोरम",
                "नागालैंड",
                "ओडिशा",
                "पुडुचेरी",
                "पंजाब",
                "राजस्थान",
                "सिक्किम",
                "तमिलनाडु",
                "त्रिपुरा",
                "उत्तर प्रदेश",
                "उत्तराखंड",
                "पश्चिम बंगाल"
            ]
        },
        {
            "name": "locality",
            "line": "startAtLast",
            "pattern": "([A-zकखगघङचछजझञणढडठटतथदधनमभबफपक़ख़ग़ज़ड़ढ़फ़यरलळवहशषसअआइईउऊऋॠऌॡएऐओऔॐऽ॥।ऑऎऒऍािीुूृॄॢॣेैोौ॓॔ँंः़ॅॉॆॊ\\.\\-'\\s]+)$"
        }
    ]
}<commit_msg>added support for 10 indic languages<commit_after>{
    "formats": {
        "default": "{streetAddress}\n{locality}\n{region}\n{postalCode}\n{country}",
        "nocountry": "{streetAddress}\n{locality}\n{region}\n{postalCode}"
    },
    "startAt": "end",
    "fields": [
        {
            "name": "postalCode",
            "line": "last",
            "pattern": "([0-9०१२३४५६७८९૦૧૨૩૪૫૬૭૮૯೦೧೨೩೪೫೬೭೮೯൦൧൨൩൪൫൬൭൮൯ ੦੧੨੩੪੫੬੭੮੯  ௧௨௩௪௫௬௭௮௯௰௱௲௳௴௵௶௷௸௹௺ ০১২৩৪৫৬৭৮৯৲৳৴৵৶৷৸٠‎١‎٢‎٣‎٤‎٥‎٦‎٧‎٨‎٩‎౦౧౨౩౪౫౬౭౮౯ ]{6})$"
        },
        {
            "name": "region",
            "line": "last",
            "pattern": [
                "Andaman and Nicobar",
                "Andhra Pradesh",
                "Arunachal Pradesh",
                "Assam",
                "Bihar",
                "Chandigarh",
                "Chhattisgarh",
                "Dadra and Nagar Haveli",
                "Daman and Diu",
                "New Delhi",
                "Goa",
                "Gujarat",
                "Haryana",
                "Himachal Pradesh",
                "Jammu and Kashmir",
                "Jharkhand",
                "Karnataka",
                "Kerala",
                "Lakshadweep",
                "Madhya Pradesh",
                "Maharashtra",
                "Manipur",
                "Meghalaya",
                "Mizoram",
                "Nagaland",
                "Odisha",
                "Puducherry",
                "Punjab",
                "Rajasthan",
                "Sikkim",
                "Tamil Nadu",
                "Tripura",
                "Uttar Pradesh",
                "Uttarakhand",
                "West Bengal",
                "अंडमान और निकोबार",
                "आंध्र प्रदेश",
                "अरुणाचल प्रदेश",
                "असम",
                "बिहार",
                "चंडीगढ़",
                "छत्तीसगढ़",
                "दादरा और नगर ​​हवेली",
                "दमन और दीव",
                "नई दिल्ली",
                "गोवा",
                "गुजरात",
                "हरियाणा",
                "हिमाचल प्रदेश",
                "जम्मू और कश्मीर",
                "झारखंड",
                "कर्नाटक",
                "केरल",
                "लक्षद्वीप",
                "मध्य प्रदेश",
                "महाराष्ट्र",
                "मणिपुर",
                "मेघालय",
                "मिजोरम",
                "नागालैंड",
                "ओडिशा",
                "पुडुचेरी",
                "पंजाब",
                "राजस्थान",
                "सिक्किम",
                "तमिलनाडु",
                "त्रिपुरा",
                "उत्तर प्रदेश",
                "उत्तराखंड",
                "पश्चिम बंगाल",
                "ఆంధ్రప్రదేశ్",
                "అరుణాచల్ ప్రదేశ్",
                "అస్సాం",
                "బీహార్",
                "ఛత్తీస్గఢ్",
                "గోవా",
                "గుజరాత్",
                "హర్యానా",
                "హిమాచల్ ప్రదేశ్",
                "జమ్మూ మరియు కాశ్మీర్",
                "జార్ఖండ్",
                "కర్ణాటక",
                "కేరళ",
                "మధ్య ప్రదేశ్",
                "మహారాష్ట్ర",
                "మణిపూర్",
                "మేఘాలయ",
                "మిజోరం",
                "నాగాలాండ్",
                "ఒరిషా",
                "పంజాబ్",
                "రాజస్థాన్",
                "సిక్కిం",
                "తమిళనాడు",
                "త్రిపుర",
                "ఉత్తర ప్రదేశ్",
                "ఉత్తరాఖండ్",
                "వెస్ట్ బెంగాల్",
                "অন্ধ্র প্রদেশ",
                "অরুণাচল প্রদেশ",
                "অসম",
                "বিহার",
                "ছত্তিসগড়",
                "গোয়া",
                "গুজরাত",
                "হরিয়ানা",
                "হিমাচল প্রদেশ",
                "জম্মু ও কাশ্মীর",
                "ঝাড়খন্ড",
                "কর্নাটক",
                "কেরল",
                "মধ্য প্রদেশ",
                "মহারাষ্ট্র",
                "মণিপুর",
                "মেঘালয়",
                "মিজোরাম",
                "নাগাল্যান্ড",
                "অডিশা",
                "পাঞ্জাব",
                "রাজস্থান",
                "সিকিম",
                "তামিলনাডু",
                "ত্রিপুরা",
                "উত্তরপ্রদেশ",
                "উত্তরাখন্ডে",
                "পশ্চিম বঙ্গ",
                "આંધ્ર પ્રદેશ",
                "અરુણાચલ પ્રદેશ",
                "આસામ",
                "બિહાર",
                "છત્તીસગઢ",
                "ગોવા",
                "ગુજરાત",
                "હરિયાણા",
                "હિમાચલ પ્રદેશ",
                "જમ્મુ અને કાશ્મીર",
                "ઝારખંડ",
                "કર્ણાટક",
                "કેરલ",
                "મધ્ય પ્રદેશ",
                "મહારાષ્ટ્ર",
                "મણિપુર",
                "મેઘાલય",
                "મિઝોરમ",
                "નાગાલેન્ડ",
                "Odisha",
                "પંજાબ",
                "રાજસ્થાન",
                "સિક્કિમ",
                "તમિળનાડુ",
                "ત્રિપુરા",
                "ઉત્તર પ્રદેશ",
                "ઉત્તરાખંડ",
                "પશ્ચિમ બંગાળ",
                "ಆಂಧ್ರ ಪ್ರದೇಶ",
                "ಅರುಣಾಚಲ ಪ್ರದೇಶ",
                "ಅಸ್ಸಾಂ",
                "ಬಿಹಾರ",
                "ಛತ್ತೀಸ್ ಘಡ್",
                "ಗೋವಾ",
                "ಗುಜರಾತ್",
                "ಹರಿಯಾಣ",
                "ಹಿಮಾಚಲ ಪ್ರದೇಶ",
                "ಜಮ್ಮು ಮತ್ತು ಕಾಶ್ಮೀರ",
                "ಜಾರ್ಖಂಡ್",
                "ಕರ್ನಾಟಕ",
                "ಕೇರಳ",
                "ಮಧ್ಯ ಪ್ರದೇಶ",
                "ಮಹಾರಾಷ್ಟ್ರ",
                "ಮಣಿಪುರ",
                "ಮೇಘಾಲಯ",
                "ಮಿಜೋರಾಮ್",
                "ನಾಗಾಲ್ಯಾಂಡ್",
                "ಓರಿಸ್ಸಾ",
                "ಪಂಜಾಬ್",
                "ರಾಜಸ್ಥಾನ",
                "ಸಿಕ್ಕಿಂ",
                "ತಮಿಳುನಾಡು",
                "ತ್ರಿಪುರ",
                "ಉತ್ತರ ಪ್ರದೇಶ",
                "ಉತ್ತರಾಖಂಡ್",
                "ಪಶ್ಚಿಮ ಬಂಗಾಳ",
                "ആന്ധ്രപ്രദേശ്",
                "അരുണാചല്‍പ്രദേശ്",
                "ആസ്സാം",
                "ബീഹാര്‍",
                "ചത്തീസ്ഗഡ്",
                "ഗോവ",
                "ഗുജറാത്ത്",
                "ഹരിയാന",
                "ഹിമാചല്‍പ്രദേശ്",
                "ജമ്മുകാശ്മീര്‍",
                "ഝാര്‍ഖണ്ഡ്",
                "കര്‍ണാടക",
                "കേരള",
                "മദ്ധ്യപ്രദേശ്",
                "മഹാരാഷ്ട്ര",
                "മണിപ്പൂര്‍",
                "മേഘാലയ",
                "മിസോറാം",
                "നാഗാലാന്‍ഡ്",
                "ഒഡീഷ",
                "പഞ്ചാബ്",
                "രാജസ്ഥാന്‍",
                "സിക്കിം",
                "തമിഴ്നാട്",
                "ത്രിപുര",
                "ഉത്തര്‍ പ്രദേശ്",
                "ഉത്തരഘണ്ട്",
                "വെസ്റ്റ് ബംഗാള്‍",
                "आंध्र प्रदेश",
                "अरुणाचल प्रदेश",
                "आसाम",
                "बिहार",
                "छत्तीसगढ",
                "गोवा",
                "गुजरात",
                "हरियाणा",
                "हिमाचल प्रदेश",
                "जम्मू आणि काश्मीर",
                "झारखंड",
                "कर्नाटक",
                "केरळ",
                "मध्य प्रदेश",
                "महाराष्ट्र",
                "मणिपूर",
                "मेघालय",
                "मिझोरम",
                "नागालँड",
                "ओरिसा",
                "पंजाब",
                "राजस्थान",
                "सिक्किम",
                "तामिळनाडू",
                "त्रिपुरा",
                "उत्तर प्रदेश",
                "उत्तराखंड",
                "पश्चिम बंगाल",
                "ஆந்திர பிரதேசம்",
                "அருணாச்சல பிரதேசம்",
                "அசாம்",
                "பீகார்",
                "சட்டீஸ்கர்",
                "கோவா",
                "குஜராத்",
                "ஹரியானா",
                "ஹிமாச்சல பிரதேசம்",
                "ஜம்மு மற்றும் காஷ்மீர்",
                "ஜார்க்கண்ட்",
                "கர்நாடகா",
                "கேரளா",
                "மத்திய பிரதேசம்",
                "மகாராஷ்டிரா",
                "மணிப்பூர்",
                "மேகாலயா",
                "மிசோரம்",
                "நாகாலாந்து",
                "பஞ்சாப்",
                "ராஜஸ்தான்",
                "சிக்கிம்",
                "தமிழ்நாடு",
                "திரிபுரா",
                "உத்தர பிரதேசம்",
                "உத்தரகண்ட்",
                "மேற்கு வங்காளம்",
                "آندھرا پردیش",
                "اروناچل پردیش",
                "آسام",
                "بہار",
                "چھتیس گڑھ",
                "گوا",
                "گجرات",
                "ہریانہ",
                "ہماچل پردیش",
                "جموں و کشمیر",
                "جھارکھنڈ",
                "کرناٹک",
                "کیرل",
                "مدھیہ پردیش",
                "مہاراشٹر",
                "منی پور",
                "میگھالیہ",
                "میزورم",
                "ناگالینڈ",
                "اڑیسہ",
                "پنجاب",
                "راجستھان",
                "سککم",
                "تامل ناڈو",
                "تریپورہ",
                "اتر پردیش",
                "اتراکھنڈ",
                "مغربی بنگال"
            ]
        },
        {
            "name": "locality",
            "line": "startAtLast",
            "pattern": "([A-zकखगघङचछजझञणढडठटतथदधनमभबफपक़ख़ग़ज़ड़ढ़फ़यरलळवहशषसअआइईउऊऋॠऌॡएऐओऔॐऽ॥।ऑऎऒऍािीुूृॄॢॣेैोौ॓॔ँंः़ॅॉॆॊಅಆಇಈಉಊಋಎಏಐಒಓಔೠಕಖಗಘಙಚಛಜಝಞಟಠಡಢಣತಥದಧನಪಫಬಭಮಯರಱಲಳವಶಷಸಹೞಕಂಕಃಕಾಕಿಕೀಕುಕೂಕೃಕೄಕೆಕೇಕೈಕೊಕೋಕೌಕ್ಕೕಕೖ೦೧೨೩೪೫೬೭೮೯అఆఇఈఉఊఋఌఎఏఐఒఓఔౠౡకఖగఘఙచఛజఝఞటఠడఢణతథదధనపఫబభమయరఱలళవశషసహకఁకంకఃకాకికీకుకూకృకౄకెకేకైకొకోకౌక్కౕకౖ౦౧౨౩౪౫౬౭౮౯அஆஇஈஉஊஎஏஐஒஓஔகஙசஜஞடணதநனபமயரறலளழவஸஹகஂகஃகாகிகீகுகூகெகேகைகொகோகௌக்கௗ௧௨௩௪௫௬௭௮௯௰௱௲௳௴௵௶௷௸௹௺അആഇഈഉഊഋഌഎഏഐഒഓഔൠൡകഖഗഘങചഛജഝഞടഠഡഢണതഥദധനപഫബഭമയരറലളഴവശഷസഹകംകഃകാകികീകുകൂകൃകെകേകൈകൊകോകൌക്കൗ൦൧൨൩൪൫൬൭൮൯অআইঈউঊঋৠঌৡএঐওঔকখগঘঙচছজঝঞটঠডঢণতথদধনপফবভমযরলশষসহড়ঢ়য়ৰৱকঁকংকঃক়কাকিকীকুকূকৃকৄকেকৈকোকৌক্কৗ০১২৩৪৫৬৭৮৯৲৳৴৵৶৷৸৹৺અઆઇઈઉઊઋૠઍએઐઑઓઔકખગઘઙચછજઝઞટઠડઢણતથદધનપફબભમયરલળવશષસહકઁકંકઃક઼કઽકાકિકીકુકૂકૃકૄકૅકેકૈકૉકોકૌક્ૐ૱૦૧૨૩૪૫૬૭૮૯ਅਆਇਈਉਊਏਐਓਔਕਖਗਘਙਚਛਜਝਞਟਠਡਢਣਤਥਦਧਨਪਫਬਭਮਯਰਲਲ਼ਵਸ਼ਸਹਖ਼ਗ਼ਜ਼ੜਫ਼ੲੳਕਂਕ਼ਕਾਕਿਕੀਕੁਕੂਕੇਕੈਕੋਕੌਕ੍ਕੰਕੱੴ☬੦੧੨੩੪੫੬੭੮੯ےایسسیآئیآئیکریکٹرسیٹ۔ایکمعیاری۷بٹکوڈجوثنائیمقداریںاستعمالکرتےہوئےآسکیکینمائندگیکرتاہے۔کوڈکیویلیو\\.\\-'\\s]+)$"
        }
    ]
}
{'fraction_non_alphanumeric': 0.19059079264032294, 'fraction_numerical': 0.013741169163884792, 'mean_word_length': 0.8871960152358629, 'pattern_counts': {'":': 28, '<': 3, '<?xml version=': 0, '>': 3, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '228099', 'n_tokens_mistral': 8612, 'n_tokens_neox': 7908, 'n_words': 550}