<commit_before>base_interfaces = {
    "ATM": "ATM",
    "AT": "ATM",
    "B": "Bdi",
    "Bd": "Bdi",
    "Bdi": "Bdi",
    "EOBC": "EOBC",
    "EO": "EOBC",
    "Ethernet": "Ethernet",
    "Eth": "Ethernet",
    "eth": "Ethernet",
    "Et": "Ethernet",
    "et": "Ethernet",
    "FastEthernet": "FastEthernet",
    "FastEth": "FastEthernet",
    "FastE": "FastEthernet",
    "Fast": "FastEthernet",
    "Fas": "FastEthernet",
    "FE": "FastEthernet",
    "Fa": "FastEthernet",
    "Fddi": "Fddi",
    "FD": "Fddi",
    "FortyGigabitEthernet": "FortyGigabitEthernet",
    "FortyGigEthernet": "FortyGigabitEthernet",
    "FortyGigEth": "FortyGigabitEthernet",
    "FortyGigE": "FortyGigabitEthernet",
    "FortyGig": "FortyGigabitEthernet",
    "FGE": "FortyGigabitEthernet",
    "FO": "FortyGigabitEthernet",
    "Fo": "FortyGigabitEthernet",
    "FiftyGigabitEthernet": "FiftyGigabitEthernet",
    "FiftyGigEthernet": "FiftyGigabitEthernet",
    "FiftyGigEth": "FiftyGigabitEthernet",
    "FiftyGigE": "FiftyGigabitEthernet",
    "FI": "FiftyGigabitEthernet",
    "Fi": "FiftyGigabitEthernet",
    "fi": "FiftyGigabitEthernet",
    "GigabitEthernet": "GigabitEthernet",
    "GigEthernet": "GigabitEthernet",
    "GigEth": "GigabitEthernet",
    "GigE": "GigabitEthernet",
    "Gig": "GigabitEthernet",
    "GE": "GigabitEthernet",
    "Ge": "GigabitEthernet",
    "ge": "GigabitEthernet",
    "Gi": "GigabitEthernet",
    "HundredGigabitEthernet": "HundredGigabitEthernet",
    "HundredGigEthernet": "HundredGigabitEthernet",
    "HundredGigEth": "HundredGigabitEthernet",
    "HundredGigE": "HundredGigabitEthernet",
    "HundredGig": "HundredGigabitEthernet",
    "Hu": "HundredGigabitEthernet",
    "TwentyFiveGigabitEthernet": "TwentyFiveGigabitEthernet",
    "TwentyFiveGigEthernet": "TwentyFiveGigabitEthernet",
    "TwentyFiveGigEth": "TwentyFiveGigabitEthernet",
    "TwentyFiveGigE": "TwentyFiveGigabitEthernet",
    "TwentyFiveGig": "TwentyFiveGigabitEthernet",
    "TF": "TwentyFiveGigabitEthernet",
    "Tf": "TwentyFiveGigabitEthernet",
    "tf": "TwentyFiveGigabitEthernet",
    "TwoHundredGigabitEthernet": "TwoHundredGigabitEthernet",
    "TwoHundredGigEthernet": "TwoHundredGigabitEthernet",
    "TwoHundredGigEth": "TwoHundredGigabitEthernet",
    "TwoHundredGigE": "TwoHundredGigabitEthernet",
    "TwoHundredGig": "TwoHundredGigabitEthernet",
    "TH": "TwoHundredGigabitEthernet",
    "Th": "TwoHundredGigabitEthernet",
    "th": "TwoHundredGigabitEthernet",
    "FourHundredGigabitEthernet": "FourHundredGigabitEthernet",
    "FourHundredGigEthernet": "FourHundredGigabitEthernet",
    "FourHundredGigEth": "FourHundredGigabitEthernet",
    "FourHundredGigE": "FourHundredGigabitEthernet",
    "FourHundredGig": "FourHundredGigabitEthernet",
    "F": "FourHundredGigabitEthernet",
    "f": "FourHundredGigabitEthernet",
    "Loopback": "Loopback",
    "loopback": "Loopback",
    "Lo": "Loopback",
    "lo": "Loopback",
    "Management": "Management",
    "Mgmt": "Management",
    "mgmt": "Management",
    "Ma": "Management",
    "Management_short": "Ma",
    "MFR": "MFR",
    "Multilink": "Multilink",
    "Mu": "Multilink",
    "n": "nve",
    "nv": "nve",
    "nve": "nve",
    "PortChannel": "Port-channel",
    "Port-channel": "Port-channel",
    "Port-Channel": "Port-channel",
    "port-channel": "Port-channel",
    "po": "Port-channel",
    "Po": "Port-channel",
    "POS": "POS",
    "PO": "POS",
    "Serial": "Serial",
    "Se": "Serial",
    "S": "Serial",
    "TenGigabitEthernet": "TenGigabitEthernet",
    "TenGigEthernet": "TenGigabitEthernet",
    "TenGigEth": "TenGigabitEthernet",
    "TenGig": "TenGigabitEthernet",
    "TeGig": "TenGigabitEthernet",
    "Ten": "TenGigabitEthernet",
    "T": "TenGigabitEthernet",
    "Te": "TenGigabitEthernet",
    "Tunnel": "Tunnel",
    "Tun": "Tunnel",
    "Tu": "Tunnel",
    "Twe": "TwentyFiveGigE",
    "Tw": "TwoGigabitEthernet",
    "Two": "TwoGigabitEthernet",
    "Virtual-Access": "Virtual-Access",
    "Vi": "Virtual-Access",
    "Virtual-Template": "Virtual-Template",
    "Vt": "Virtual-Template",
    "VLAN": "VLAN",
    "V": "VLAN",
    "Vl": "VLAN",
    "Wlan-GigabitEthernet": "Wlan-GigabitEthernet",
}
<commit_msg>Adding cannonical mapping for FE, GE and 10GE interfaces on Cisco SMB switches<commit_after>base_interfaces = {
    "ATM": "ATM",
    "AT": "ATM",
    "B": "Bdi",
    "Bd": "Bdi",
    "Bdi": "Bdi",
    "EOBC": "EOBC",
    "EO": "EOBC",
    "Ethernet": "Ethernet",
    "Eth": "Ethernet",
    "eth": "Ethernet",
    "Et": "Ethernet",
    "et": "Ethernet",
    "FastEthernet": "FastEthernet",
    "FastEth": "FastEthernet",
    "FastE": "FastEthernet",
    "Fast": "FastEthernet",
    "Fas": "FastEthernet",
    "FE": "FastEthernet",
    "Fa": "FastEthernet",
    "fa": "FastEthernet",
    "Fddi": "Fddi",
    "FD": "Fddi",
    "FortyGigabitEthernet": "FortyGigabitEthernet",
    "FortyGigEthernet": "FortyGigabitEthernet",
    "FortyGigEth": "FortyGigabitEthernet",
    "FortyGigE": "FortyGigabitEthernet",
    "FortyGig": "FortyGigabitEthernet",
    "FGE": "FortyGigabitEthernet",
    "FO": "FortyGigabitEthernet",
    "Fo": "FortyGigabitEthernet",
    "FiftyGigabitEthernet": "FiftyGigabitEthernet",
    "FiftyGigEthernet": "FiftyGigabitEthernet",
    "FiftyGigEth": "FiftyGigabitEthernet",
    "FiftyGigE": "FiftyGigabitEthernet",
    "FI": "FiftyGigabitEthernet",
    "Fi": "FiftyGigabitEthernet",
    "fi": "FiftyGigabitEthernet",
    "GigabitEthernet": "GigabitEthernet",
    "GigEthernet": "GigabitEthernet",
    "GigEth": "GigabitEthernet",
    "GigE": "GigabitEthernet",
    "Gig": "GigabitEthernet",
    "GE": "GigabitEthernet",
    "Ge": "GigabitEthernet",
    "ge": "GigabitEthernet",
    "Gi": "GigabitEthernet",
    "gi": "GigabitEthernet",
    "HundredGigabitEthernet": "HundredGigabitEthernet",
    "HundredGigEthernet": "HundredGigabitEthernet",
    "HundredGigEth": "HundredGigabitEthernet",
    "HundredGigE": "HundredGigabitEthernet",
    "HundredGig": "HundredGigabitEthernet",
    "Hu": "HundredGigabitEthernet",
    "TwentyFiveGigabitEthernet": "TwentyFiveGigabitEthernet",
    "TwentyFiveGigEthernet": "TwentyFiveGigabitEthernet",
    "TwentyFiveGigEth": "TwentyFiveGigabitEthernet",
    "TwentyFiveGigE": "TwentyFiveGigabitEthernet",
    "TwentyFiveGig": "TwentyFiveGigabitEthernet",
    "TF": "TwentyFiveGigabitEthernet",
    "Tf": "TwentyFiveGigabitEthernet",
    "tf": "TwentyFiveGigabitEthernet",
    "TwoHundredGigabitEthernet": "TwoHundredGigabitEthernet",
    "TwoHundredGigEthernet": "TwoHundredGigabitEthernet",
    "TwoHundredGigEth": "TwoHundredGigabitEthernet",
    "TwoHundredGigE": "TwoHundredGigabitEthernet",
    "TwoHundredGig": "TwoHundredGigabitEthernet",
    "TH": "TwoHundredGigabitEthernet",
    "Th": "TwoHundredGigabitEthernet",
    "th": "TwoHundredGigabitEthernet",
    "FourHundredGigabitEthernet": "FourHundredGigabitEthernet",
    "FourHundredGigEthernet": "FourHundredGigabitEthernet",
    "FourHundredGigEth": "FourHundredGigabitEthernet",
    "FourHundredGigE": "FourHundredGigabitEthernet",
    "FourHundredGig": "FourHundredGigabitEthernet",
    "F": "FourHundredGigabitEthernet",
    "f": "FourHundredGigabitEthernet",
    "Loopback": "Loopback",
    "loopback": "Loopback",
    "Lo": "Loopback",
    "lo": "Loopback",
    "Management": "Management",
    "Mgmt": "Management",
    "mgmt": "Management",
    "Ma": "Management",
    "Management_short": "Ma",
    "MFR": "MFR",
    "Multilink": "Multilink",
    "Mu": "Multilink",
    "n": "nve",
    "nv": "nve",
    "nve": "nve",
    "PortChannel": "Port-channel",
    "Port-channel": "Port-channel",
    "Port-Channel": "Port-channel",
    "port-channel": "Port-channel",
    "po": "Port-channel",
    "Po": "Port-channel",
    "POS": "POS",
    "PO": "POS",
    "Serial": "Serial",
    "Se": "Serial",
    "S": "Serial",
    "TenGigabitEthernet": "TenGigabitEthernet",
    "TenGigEthernet": "TenGigabitEthernet",
    "TenGigEth": "TenGigabitEthernet",
    "TenGig": "TenGigabitEthernet",
    "TeGig": "TenGigabitEthernet",
    "Ten": "TenGigabitEthernet",
    "T": "TenGigabitEthernet",
    "Te": "TenGigabitEthernet",
    "te": "TenGigabitEthernet",
    "Tunnel": "Tunnel",
    "Tun": "Tunnel",
    "Tu": "Tunnel",
    "Twe": "TwentyFiveGigE",
    "Tw": "TwoGigabitEthernet",
    "Two": "TwoGigabitEthernet",
    "Virtual-Access": "Virtual-Access",
    "Vi": "Virtual-Access",
    "Virtual-Template": "Virtual-Template",
    "Vt": "Virtual-Template",
    "VLAN": "VLAN",
    "V": "VLAN",
    "Vl": "VLAN",
    "Wlan-GigabitEthernet": "Wlan-GigabitEthernet",
}

{'fraction_non_alphanumeric': 0.1780391243595715, 'fraction_numerical': 0.0002328830926874709, 'mean_word_length': 4.588158750813273, 'pattern_counts': {'":': 247, '<': 3, '<?xml version=': 0, '>': 3, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '2985496', 'n_tokens_mistral': 3867, 'n_tokens_neox': 3555, 'n_words': 508}