Create text_cleaning.py

text_cleaning.py

@@ -0,0 +1,112 @@
+import re
+from num2words import num2words
+from unicode_tr import unicode_tr
+import string
+from tqdm import tqdm
+tqdm.pandas()
+
+mapping_toxic_words = {
+    'ag': 'amına koyayım', 'got': 'göt', 'gotten': 'götten', 'gotune': 'götüne',
+    'gote': 'göte', 'gotunde': 'götünde', 'gotunden': 'götünden', 'gotunu': 'götünü', 'gotu': 'götü', 'gotun': 'götün',
+    'ami': 'amı', 'aminda': 'amında', 'amina': 'amına', 'amini': 'amını', 'yarragm': 'yarak', 'yrrk': 'yarak',
+    'skrm': 'sikerim', 'skrim': 'sikerim', 's1kerim': 'sikerim', 's1ker1m': 'sikerim', 'gtn': 'göt', 'daşşak': 'taşak',
+    'yaraaam': 'yarak', 'totoş': 'göt', 'amina': 'amına', 'zik': 'yarak', 'zikiim': 'yarak', 'yarragm': 'yarak',
+    'sikiir': 'yarak',
+    'amuğa': 'amına', 'amk': 'amına koyayım', "a.q": "amına koyayım", "a.w": "amına koyayım", "ak": "amına koyayım",
+    "a.k": "amına koyayım",
+    "mq": "amına koyayım", "mk": "amına koyayım", "aqqq": "amına koyayım", "awk": "amına koyayım",
+    'oc': 'orospu çocuğu', 'ass': 'göt',
+    'OÇ': 'orospu çocuğu', 'pic': 'piç', 'a.q': 'amına koyayım', 'aq.': 'amına koyayım', 'kappe': 'kahpe',
+    'amnn': 'amına', 'amn': 'amına',
+    'pussy': 'amcık', 'sikt': 'siktir', 'sksz': 'seks', 'amck': 'amcık', 'ferre': 'seks', 'sexs': 'seks',
+    'yrrak': 'yarak', 'mcik': 'amcık', 'sikm': 'sikeyim', 'amna': 'amına',
+    'pezo': 'pezevenk', 'saxo': 'seks', 'götü': 'göt', 'skem': 'sikeyim', 'yarraaaa': 'yarak', 'sktrr': 'siktir',
+    'sike': 'yarak', 'skiim': 'sikeyim', 'skim': 'sikeyim',
+    'sikik': 'yarak', 'yarrağ': 'yarak', "amk": "amına koyayım", "aq": "amına koyayım", 'ık': 'amına koyayım',
+    "fuck": "siktir", "ananskm": "ananı sikim",
+    "ziktir": "siktir", "amkdjdkd": "amına koyayım", "yardagıma": "yarrağıma", 'çük': 'yarak', 'penis': 'yarak',
+    'pipi': 'yarak', 'sik': 'yarak', 'yarrak': 'yarak',
+    'kaka': 'bok', 'oç': 'oruspu çocuğu', 'wtf': 'siktir', 'sie': 'siktir git', 'kürd': 'kürt', 'kurdo': 'kürt',
+    'kürdo': 'kürt', 'turko': 'türk',
+    'türko': 'türk', 'birşey': 'bir şey', 'herşey': 'her şey', 'yanlız': 'yalnız', 'yalnış': 'yanlış',
+    'herkez': 'herkes', 'bir kaç': 'birkaç',
+    'birebir': 'bire bir', 'birşeyler': 'bir şeyler', 'yavsak': 'yavşak', 'oruspu': 'orospu', 'orspu': 'orospu',
+    'bişey': 'bir şey', 'hiçbişey': 'hiçbir şey',
+    'motherfucker': 'orospu çocuğu', 'fucker': 'siken', 'shit': 'siktir', 'fuckin': 'siktir',
+    'fucking': 'siktir', 'fuck': 'siktir', 'ass': 'göt',
+    'bitch': 'orospu', 'idiot': 'aptal', 'pussy': 'amcık', 'sikiyim': 'sikeyim', 'got': 'göt', 'kahbe': 'kahpe',
+    'gurub': 'grup',
+    'ıbne': 'ibne', 'pust': 'puşt', 'ibn': 'ibne', 'mcık': 'amcık', 'mcik': 'amcık', 's.k': 'sik kafalı', 'g.t': 'göt',
+    's.ktir': 'siktir', 'yawşak': 'yavşak', 'yawsak': 'yavşak', 'pic': 'piç', '31': 'mastürbasyon', 'kerane': 'kerhane', 'koyim': 'koyayım',
+    'g.tü': 'götü', 'y.rrak': 'yarak', '*mcık': 'amcık', '*mcik': 'amcık', 'mına': 'amına', 'göd': 'göt', 'ancık': 'amcık',
+    'xik': 'yarak', 'ipne': 'ibne', 's*x': 'seks', 'orsbu': 'orospu', 'orrspu': 'orospu', 'mcını': 'amını', 'zittin': 'siktin',
+    'zittim': 'siktim', 'inbe': 'ibne', 'amuğa': 'amına', 'yarra': 'yarak', 'mını': 'amını', 'yarraa': 'yarak', 'a.q.': 'amına koyayım',
+    'a.k.': 'amına koyayım', 'amnskm': 'amını sikeyim',
+    'amık': 'amcık', 'ybsg': 'siktir git', 'bsg': 'siktir git', "amınako": "amına koyarım", "sikem": 'sikerim',
+    "zigsin": 'siksin', "zikeyim": 'sikeyim', "zikiiim": 'yarak', "zikiim": 'yarak', "zikik": 'yarak', "zikim": 'yarak',
+    "ziksiiin": 'siksin', "ziksiin": 'siksin',
+    "yaram": 'yarak', "yaraminbasi": 'yarak', "yaramn": 'yarak', "yarraak": 'yarak', "yarraam": 'yarak',
+    "yarraamı": 'yarak', "yarragi": 'yarak',
+    "sittimin": 'siktiğimin', "sittir": 'siktir', "skcem": 'sikeceğim', "skecem": 'sikeceğim', "skem": 'sikerim',
+    "sker": 'siker', "skerim": 'sikerim', "skerm": 'sikerim',
+    "skeyim": 'sikeyim', "skiim": 'sikeyim', "skik": 'yarak', "skim": 'yarak', "skime": 'yarak', "skmek": 'sikmek',
+    "sksin": 'siksin', "sksn": 'siksin', "sksz": 'sikerim', "sktiimin": 'siktiğimin', "sktrr": 'siktir',
+    "skyim": 'sikeyim', "sokam": 'sokarım', "yarragimi": 'yarak', "yarragina": 'yarak', "yarragindan": 'yarak', "yarragm": 'yarak',
+    "yarrağ": 'yarak', "yarrağım": 'yarak', "yarrağımı": 'yarak', "yarraimin": 'yarak',
+    'sikim': 'sikeyim', 'sex': 'seks', 'daşak': 'taşak', 'taşşak': 'taşak', 'amcik': 'amcık', 'oruspiy': 'orospu',
+    'amina': 'amına', 'amindan': 'amından', 'escort': 'eskort',
+    'am': 'amcık', 'koyim': 'koyayım', 'sg': 'siktir git', 'siktirgit': 'siktir git', 'serefsiz': 'şerefsiz'
+}
+
+
+def toxic_mapping(text):
+    toxic_map_text_list = []
+    for word in text.split():
+        if word in mapping_toxic_words:
+            toxic_map_text_list.append(mapping_toxic_words[word])
+        else:
+            toxic_map_text_list.append(word)
+    toxic_map_text_list = " ".join(toxic_map_text_list)
+    return toxic_map_text_list
+
+
+def remove_quest_suf_sep(text):
+    s = []
+    for txt in text.split():
+        if re.search('(mısın|misin|musun|müsün)$', txt):
+            suffix = re.search('(mısın|misin|musun|müsün)$', txt).group()
+            s.append(re.sub('(mısın|misin|musun|müsün)$', '', txt) + ' ' + suffix)
+        else:
+            s.append(txt)
+    return ' '.join(s)
+
+
+def remove_single_chars(text):
+    return ' '.join([w for w in text.split() if len(w) > 1 or w in ['o', 'O']])
+
+
+def remove_tweets(text):
+	# remove mentions and tags
+	text = re.sub("@[A-Za-z0-9_]+", "", text)
+	text = ' '.join(word for word in text.split() if not word[0] == "#")
+	# remove url
+	text = re.sub(r"http\S+", "", text)
+	text = re.sub('http[s]?://\S+', '', text)
+	text = re.sub('http://\S+|https://\S+', '', text)    
+	text = re.sub(r'<[^>]+>', '', text)
+	text = re.sub(r'http\S+', '', text)
+	return text
+
+def clean_text(text):
+
+    text = unicode_tr(str(x)).lower()
+    text = toxic_mapping(text)
+    text = remove_quest_suf_sep(text)
+    text = remove_tweets(text)
+    text = re.sub(' +', ' ', text)
+    text = ' '.join([num2words(i, lang='tr') if i.isnumeric() else i for i in text.split()])
+    
+    
+    return text
+
+