<commit_before>ZDF
ZDF HD
ARD
ARD HD
das erste
das erste HD
erste
tagesschau
tagesschau24
sat.1
sat 1
sat1
sat.1 emotions
sat1 emotions
sat 1 emotions
RTL HD
RTL
RTL Television
RTL living
RTL living HD
RTL Nitro
RTL nitro hd
pro7 
pro7 HD
pro 7
pro 7 HD
prosieben
prosieben HD
pro sieben HD
pro sieben
pro7 maxx HD
pro 7 maxx 
pro 7 maxx HD
prosieben maxx
prosieben maxx HD
pro sieben maxx HD
pro sieben maxx
vox
vox HD
phönix
phönix HD
phoenix
phoenix HD
WDR
WDR HD
WDR Essen 
WDR Essen HD
WDR Köln 
WDR Köln HD
WDR Koeln
WDR Koeln HD
WDR Wuppertal 
WDR Wuppertal HD
WDR Duisburg 
WDR Duisburg HD
WDR Siegen 
WDR Siegen HD
WDR Münster 
WDR Münster HD
WDR Muenster 
WDR Muenster HD
WDR Düsseldorf 
WDR Düsseldorf HD
WDR Duesseldorf 
WDR Duesseldorf HD
WDR Aachen
WDR Aachen HD
WDR Bielefeld
WDR Bielefeld HD
WDR Bonn
WDR Bonn HD
WDR Dortmund 
WDR Dortmund HD
NDR
NDR HD
3sat
3sat HD
arte
arte HD
ZDF neo
one
one HD
N24
N24 HD
Einsplus 
Einsplus HD
13th street
13th street HD
discovery 
discovery HD
discovery channel
discovery channel HD
TNT Serie
TNT Serie HD
RTL Passion
MGM
Fox
Fox HD
Sky Cinema
Sky Cinema HD
Sky Cinema Action
Sky Cinema Action HD
NatGeo 
NatGeo HD
National Geographic
National Geographic HD
Sky Atlantic HD
Sky Atlantic
Sky Cinema Comedy
Sky Cinema Comedy HD
Sky Cinema +1
Sky Cinema +24
Sky Cinema Hits
Sky Cinema Hits HD
Sky Krimi
Prosieben Maxx 
Prosieben Maxx HD
pro 7 maxx 
pro 7 maxx HD
sky cinema emotion
sky cinema emotion HD
sky sport bundesliga 1
sky sport bundesliga 1 HD
sky sport bundesliga 2
sky sport bundesliga 2 HD
sky sport bundesliga 3
sky sport bundesliga 3 HD
sky sport bundesliga 4
sky sport bundesliga 4 HD
sky sport bundesliga 5
sky sport bundesliga 5 HD
sky sport bundesliga 6
sky sport bundesliga 6 HD
sky sport bundesliga 7
sky sport bundesliga 7 HD
sky sport bundesliga 8
sky sport bundesliga 8 HD
sky sport bundesliga 9
sky sport bundesliga 9 HD
sky sport bundesliga 10
sky sport bundesliga 10 HD
sky sport 1
sky sport 1 HD
sky sport 2
sky sport 2 HD
sky sport 3
sky sport 3 HD
sky sport 4<commit_msg>removed duplicate channels<commit_after>ZDF
ZDF HD
ARD
ARD HD
das erste
das erste HD
erste
tagesschau
tagesschau24
sat.1
sat 1
sat1
sat.1 emotions
sat1 emotions
sat 1 emotions
RTL HD
RTL
RTL Television
RTL living
RTL living HD
RTL Nitro
RTL nitro hd
pro7 
pro7 HD
pro 7
pro 7 HD
prosieben
prosieben HD
pro sieben HD
pro sieben
pro7 maxx HD
pro 7 maxx 
pro 7 maxx HD
prosieben maxx
prosieben maxx HD
pro sieben maxx HD
pro sieben maxx
vox
vox HD
phönix
phönix HD
phoenix
phoenix HD
WDR
WDR HD
WDR Essen 
WDR Essen HD
WDR Köln 
WDR Köln HD
WDR Koeln
WDR Koeln HD
WDR Wuppertal 
WDR Wuppertal HD
WDR Duisburg 
WDR Duisburg HD
WDR Siegen 
WDR Siegen HD
WDR Münster 
WDR Münster HD
WDR Muenster 
WDR Muenster HD
WDR Düsseldorf 
WDR Düsseldorf HD
WDR Duesseldorf 
WDR Duesseldorf HD
WDR Aachen
WDR Aachen HD
WDR Bielefeld
WDR Bielefeld HD
WDR Bonn
WDR Bonn HD
WDR Dortmund 
WDR Dortmund HD
NDR
NDR HD
3sat
3sat HD
arte
arte HD
ZDF neo
one
one HD
N24
N24 HD
Einsplus 
Einsplus HD
13th street
13th street HD
discovery 
discovery HD
discovery channel
discovery channel HD
TNT Serie
TNT Serie HD
RTL Passion
MGM
Fox
Fox HD
Sky Cinema
Sky Cinema HD
Sky Cinema Action
Sky Cinema Action HD
NatGeo 
NatGeo HD
National Geographic
National Geographic HD
Sky Atlantic HD
Sky Atlantic
Sky Cinema Comedy
Sky Cinema Comedy HD
Sky Cinema +1
Sky Cinema +24
Sky Cinema Hits
Sky Cinema Hits HD
Sky Krimi
sky cinema emotion
sky cinema emotion HD
sky sport bundesliga 1
sky sport bundesliga 1 HD
sky sport bundesliga 2
sky sport bundesliga 2 HD
sky sport bundesliga 3
sky sport bundesliga 3 HD
sky sport bundesliga 4
sky sport bundesliga 4 HD
sky sport bundesliga 5
sky sport bundesliga 5 HD
sky sport bundesliga 6
sky sport bundesliga 6 HD
sky sport bundesliga 7
sky sport bundesliga 7 HD
sky sport bundesliga 8
sky sport bundesliga 8 HD
sky sport bundesliga 9
sky sport bundesliga 9 HD
sky sport bundesliga 10
sky sport bundesliga 10 HD
sky sport 1
sky sport 1 HD
sky sport 2
sky sport 2 HD
sky sport 3
sky sport 3 HD
sky sport 4
{'fraction_non_alphanumeric': 0.0034508257333004683, 'fraction_numerical': 0.028592556075918166, 'mean_word_length': 4.117276166456494, 'pattern_counts': {'":': 0, '<': 3, '<?xml version=': 0, '>': 3, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '3508961', 'n_tokens_mistral': 1673, 'n_tokens_neox': 1535, 'n_words': 757}