Spaces:
Runtime error
Runtime error
File size: 6,352 Bytes
9b85141 88fb58b 9b85141 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 |
import re
from num2words import num2words
from unicode_tr import unicode_tr
import string
from tqdm import tqdm
tqdm.pandas()
mapping_toxic_words = {
'ag': 'amına koyayım', 'got': 'göt', 'gotten': 'götten', 'gotune': 'götüne',
'gote': 'göte', 'gotunde': 'götünde', 'gotunden': 'götünden', 'gotunu': 'götünü', 'gotu': 'götü', 'gotun': 'götün',
'ami': 'amı', 'aminda': 'amında', 'amina': 'amına', 'amini': 'amını', 'yarragm': 'yarak', 'yrrk': 'yarak',
'skrm': 'sikerim', 'skrim': 'sikerim', 's1kerim': 'sikerim', 's1ker1m': 'sikerim', 'gtn': 'göt', 'daşşak': 'taşak',
'yaraaam': 'yarak', 'totoş': 'göt', 'amina': 'amına', 'zik': 'yarak', 'zikiim': 'yarak', 'yarragm': 'yarak',
'sikiir': 'yarak',
'amuğa': 'amına', 'amk': 'amına koyayım', "a.q": "amına koyayım", "a.w": "amına koyayım", "ak": "amına koyayım",
"a.k": "amına koyayım",
"mq": "amına koyayım", "mk": "amına koyayım", "aqqq": "amına koyayım", "awk": "amına koyayım",
'oc': 'orospu çocuğu', 'ass': 'göt',
'OÇ': 'orospu çocuğu', 'pic': 'piç', 'a.q': 'amına koyayım', 'aq.': 'amına koyayım', 'kappe': 'kahpe',
'amnn': 'amına', 'amn': 'amına',
'pussy': 'amcık', 'sikt': 'siktir', 'sksz': 'seks', 'amck': 'amcık', 'ferre': 'seks', 'sexs': 'seks',
'yrrak': 'yarak', 'mcik': 'amcık', 'sikm': 'sikeyim', 'amna': 'amına',
'pezo': 'pezevenk', 'saxo': 'seks', 'götü': 'göt', 'skem': 'sikeyim', 'yarraaaa': 'yarak', 'sktrr': 'siktir',
'sike': 'yarak', 'skiim': 'sikeyim', 'skim': 'sikeyim',
'sikik': 'yarak', 'yarrağ': 'yarak', "amk": "amına koyayım", "aq": "amına koyayım", 'ık': 'amına koyayım',
"fuck": "siktir", "ananskm": "ananı sikim",
"ziktir": "siktir", "amkdjdkd": "amına koyayım", "yardagıma": "yarrağıma", 'çük': 'yarak', 'penis': 'yarak',
'pipi': 'yarak', 'sik': 'yarak', 'yarrak': 'yarak',
'kaka': 'bok', 'oç': 'oruspu çocuğu', 'wtf': 'siktir', 'sie': 'siktir git', 'kürd': 'kürt', 'kurdo': 'kürt',
'kürdo': 'kürt', 'turko': 'türk',
'türko': 'türk', 'birşey': 'bir şey', 'herşey': 'her şey', 'yanlız': 'yalnız', 'yalnış': 'yanlış',
'herkez': 'herkes', 'bir kaç': 'birkaç',
'birebir': 'bire bir', 'birşeyler': 'bir şeyler', 'yavsak': 'yavşak', 'oruspu': 'orospu', 'orspu': 'orospu',
'bişey': 'bir şey', 'hiçbişey': 'hiçbir şey',
'motherfucker': 'orospu çocuğu', 'fucker': 'siken', 'shit': 'siktir', 'fuckin': 'siktir',
'fucking': 'siktir', 'fuck': 'siktir', 'ass': 'göt',
'bitch': 'orospu', 'idiot': 'aptal', 'pussy': 'amcık', 'sikiyim': 'sikeyim', 'got': 'göt', 'kahbe': 'kahpe',
'gurub': 'grup',
'ıbne': 'ibne', 'pust': 'puşt', 'ibn': 'ibne', 'mcık': 'amcık', 'mcik': 'amcık', 's.k': 'sik kafalı', 'g.t': 'göt',
's.ktir': 'siktir', 'yawşak': 'yavşak', 'yawsak': 'yavşak', 'pic': 'piç', '31': 'mastürbasyon', 'kerane': 'kerhane', 'koyim': 'koyayım',
'g.tü': 'götü', 'y.rrak': 'yarak', '*mcık': 'amcık', '*mcik': 'amcık', 'mına': 'amına', 'göd': 'göt', 'ancık': 'amcık',
'xik': 'yarak', 'ipne': 'ibne', 's*x': 'seks', 'orsbu': 'orospu', 'orrspu': 'orospu', 'mcını': 'amını', 'zittin': 'siktin',
'zittim': 'siktim', 'inbe': 'ibne', 'amuğa': 'amına', 'yarra': 'yarak', 'mını': 'amını', 'yarraa': 'yarak', 'a.q.': 'amına koyayım',
'a.k.': 'amına koyayım', 'amnskm': 'amını sikeyim',
'amık': 'amcık', 'ybsg': 'siktir git', 'bsg': 'siktir git', "amınako": "amına koyarım", "sikem": 'sikerim',
"zigsin": 'siksin', "zikeyim": 'sikeyim', "zikiiim": 'yarak', "zikiim": 'yarak', "zikik": 'yarak', "zikim": 'yarak',
"ziksiiin": 'siksin', "ziksiin": 'siksin',
"yaram": 'yarak', "yaraminbasi": 'yarak', "yaramn": 'yarak', "yarraak": 'yarak', "yarraam": 'yarak',
"yarraamı": 'yarak', "yarragi": 'yarak',
"sittimin": 'siktiğimin', "sittir": 'siktir', "skcem": 'sikeceğim', "skecem": 'sikeceğim', "skem": 'sikerim',
"sker": 'siker', "skerim": 'sikerim', "skerm": 'sikerim',
"skeyim": 'sikeyim', "skiim": 'sikeyim', "skik": 'yarak', "skim": 'yarak', "skime": 'yarak', "skmek": 'sikmek',
"sksin": 'siksin', "sksn": 'siksin', "sksz": 'sikerim', "sktiimin": 'siktiğimin', "sktrr": 'siktir',
"skyim": 'sikeyim', "sokam": 'sokarım', "yarragimi": 'yarak', "yarragina": 'yarak', "yarragindan": 'yarak', "yarragm": 'yarak',
"yarrağ": 'yarak', "yarrağım": 'yarak', "yarrağımı": 'yarak', "yarraimin": 'yarak',
'sikim': 'sikeyim', 'sex': 'seks', 'daşak': 'taşak', 'taşşak': 'taşak', 'amcik': 'amcık', 'oruspiy': 'orospu',
'amina': 'amına', 'amindan': 'amından', 'escort': 'eskort',
'am': 'amcık', 'koyim': 'koyayım', 'sg': 'siktir git', 'siktirgit': 'siktir git', 'serefsiz': 'şerefsiz'
}
def toxic_mapping(text):
toxic_map_text_list = []
for word in text.split():
if word in mapping_toxic_words:
toxic_map_text_list.append(mapping_toxic_words[word])
else:
toxic_map_text_list.append(word)
toxic_map_text_list = " ".join(toxic_map_text_list)
return toxic_map_text_list
def remove_quest_suf_sep(text):
s = []
for txt in text.split():
if re.search('(mısın|misin|musun|müsün)$', txt):
suffix = re.search('(mısın|misin|musun|müsün)$', txt).group()
s.append(re.sub('(mısın|misin|musun|müsün)$', '', txt) + ' ' + suffix)
else:
s.append(txt)
return ' '.join(s)
def remove_single_chars(text):
return ' '.join([w for w in text.split() if len(w) > 1 or w in ['o', 'O']])
def remove_tweets(text):
# remove mentions and tags
text = re.sub("@[A-Za-z0-9_]+", "", text)
text = ' '.join(word for word in text.split() if not word[0] == "#")
# remove url
text = re.sub(r"http\S+", "", text)
text = re.sub('http[s]?://\S+', '', text)
text = re.sub('http://\S+|https://\S+', '', text)
text = re.sub(r'<[^>]+>', '', text)
text = re.sub(r'http\S+', '', text)
return text
def clean_text(text):
text = unicode_tr(str(text)).lower()
text = toxic_mapping(text)
text = remove_quest_suf_sep(text)
text = remove_tweets(text)
text = re.sub(' +', ' ', text)
text = ' '.join([num2words(i, lang='tr') if i.isnumeric() else i for i in text.split()])
return text
|