<jupyter_start><jupyter_text>Introduction aux fonctions  Tokenization du vocabulaire<jupyter_code>vocabulary = open("dictionnaire.txt", "r", encoding="utf-8").read()
vocabulary
tokenized_vocabulary = vocabulary.split(" ")
print(tokenized_vocabulary[0:5])<jupyter_output>['à', 'afin', 'autant', 'automatique', 'automatisées']<jupyter_text>Remplacement des caractères spéciaux<jupyter_code>f = open("texte.txt", "r", encoding="utf-8")
text_string = f.read()

print(text_string)
#replace()

text = "Python,est,cool"
text = text.replace(",", " ")

print(text)<jupyter_output>Python est cool<jupyter_text>Training<jupyter_code>text_string = text_string.replace(".", "")
text_string = text_string.replace(",", "")
text_string = text_string.replace("'", "")
text_string = text_string.replace("\n", "")

print(text_string)<jupyter_output>En termes généraux la scence des données est lextraction de conaissance densembles de données    Elle emploie des techniques et des théories tirées de plusieurs autres domaines plus larges des mathématiques la statistique principalement la téorie de linformation et la technologie de linformation notamment le traitement de signal des modèles probabilistes lapprentissage automatique lapprentissage statistiqe la programmation informatique lingénierie de données la reconnaissance de formes et lapprentissage la visualisation lanalytique prophétique la modélisation dincertitude le stokage de données la compression de données et le calcul à haute performance  Les méthodes qui sadaptent aux données de masse sont particulièrement intéressantes dans la science des données bien que la dicipline ne soit généralement pas considérée come limitée à ces données    Le premier objectif est de produire des méthodes automatisées autant que possible de tri et danalyse de données de masse et de sources plus[...]<jupyter_text>Fonctions<jupyter_code>def clean_text(string_value):
    cleaned_value = string_value.replace(",", " ")
    return(cleaned_value)

sentence = "Python,est,incroyable"
sentence = clean_text(sentence)
sentence<jupyter_output><empty_output><jupyter_text>Training<jupyter_code>def clean_text(string_value):
    cleaned_value = string_value.replace(".", "")
    cleaned_value = cleaned_value.replace(",", "")
    cleaned_value = cleaned_value.replace("'", "")
    cleaned_value = cleaned_value.replace("\n", "")
    return(cleaned_value)

f = open("texte.txt", "r", encoding="utf-8")
text_string = f.read()

text_string = clean_text(text_string)

print(text_string)<jupyter_output>En termes généraux la scence des données est lextraction de conaissance densembles de données    Elle emploie des techniques et des théories tirées de plusieurs autres domaines plus larges des mathématiques la statistique principalement la téorie de linformation et la technologie de linformation notamment le traitement de signal des modèles probabilistes lapprentissage automatique lapprentissage statistiqe la programmation informatique lingénierie de données la reconnaissance de formes et lapprentissage la visualisation lanalytique prophétique la modélisation dincertitude le stokage de données la compression de données et le calcul à haute performance  Les méthodes qui sadaptent aux données de masse sont particulièrement intéressantes dans la science des données bien que la dicipline ne soit généralement pas considérée come limitée à ces données    Le premier objectif est de produire des méthodes automatisées autant que possible de tri et danalyse de données de masse et de sources plus[...]<jupyter_text>Changer les majuscules en minuscules<jupyter_code># Lower()

words = "Zinedine ZIDANE France"
lower_words = words.lower()
print(lower_words)
def clean_text(string_value):
    cleaned_value = string_value.replace(".", "")
    cleaned_value = cleaned_value.replace(",", "")
    cleaned_value = cleaned_value.replace("'", "")
    cleaned_value = cleaned_value.replace("\n", "")
    cleaned_value = cleaned_value.lower()
    return(cleaned_value)

f = open("texte.txt", "r", encoding="utf-8")
text_string = f.read()

text_string = clean_text(text_string)

print(text_string)<jupyter_output>en termes généraux la scence des données est lextraction de conaissance densembles de données    elle emploie des techniques et des théories tirées de plusieurs autres domaines plus larges des mathématiques la statistique principalement la téorie de linformation et la technologie de linformation notamment le traitement de signal des modèles probabilistes lapprentissage automatique lapprentissage statistiqe la programmation informatique lingénierie de données la reconnaissance de formes et lapprentissage la visualisation lanalytique prophétique la modélisation dincertitude le stokage de données la compression de données et le calcul à haute performance  les méthodes qui sadaptent aux données de masse sont particulièrement intéressantes dans la science des données bien que la dicipline ne soit généralement pas considérée come limitée à ces données    le premier objectif est de produire des méthodes automatisées autant que possible de tri et danalyse de données de masse et de sources plus[...]<jupyter_text>Arguments multiples<jupyter_code>def clean_string(string, change_string):
    replacement_string = ""
    cleaned_string = string.replace(change_string, replacement_string)
    return(cleaned_string)

goal = clean_string("GOAL!!!!!!", "!")
print(goal)
def modify_text(text_string, modify_string, replacement_string):
    cleaned_string = text_string.replace(modify_string, replacement_string)
    return(cleaned_string)

goal = modify_text("GOAL......", ".", "!")
print(goal)<jupyter_output>GOAL!!!!!!<jupyter_text>Training<jupyter_code>def clean_text(text_string, special_characters, replacement_string):   
    cleaned_string = text_string
    
    for string in special_characters:
        cleaned_string = cleaned_string.replace(string, replacement_string)
    cleaned_string = cleaned_string.lower()
    return(cleaned_string)

clean_characters = [".", ",", "'", "\n"]
replacement = ""
cleaned_text = clean_text(text_string, clean_characters, replacement)

print(cleaned_text)<jupyter_output>en termes généraux la scence des données est lextraction de conaissance densembles de données    elle emploie des techniques et des théories tirées de plusieurs autres domaines plus larges des mathématiques la statistique principalement la téorie de linformation et la technologie de linformation notamment le traitement de signal des modèles probabilistes lapprentissage automatique lapprentissage statistiqe la programmation informatique lingénierie de données la reconnaissance de formes et lapprentissage la visualisation lanalytique prophétique la modélisation dincertitude le stokage de données la compression de données et le calcul à haute performance  les méthodes qui sadaptent aux données de masse sont particulièrement intéressantes dans la science des données bien que la dicipline ne soit généralement pas considérée come limitée à ces données    le premier objectif est de produire des méthodes automatisées autant que possible de tri et danalyse de données de masse et de sources plus[...]<jupyter_text>Tokenization du fichier texte  Training<jupyter_code>def tokenize(text_string, special_characters, replacement_string):
    cleaned_text = clean_text(text_string, special_characters, replacement_string)
    text_tokens = cleaned_text.split(" ")
    return(text_tokens)

clean_characters = [".", ",", "'", "\n"]
replacement = ""
tokenized_text = tokenize(text_string, clean_characters, replacement)

print(tokenized_text[0:10])<jupyter_output>['en', 'termes', 'généraux', 'la', 'scence', 'des', 'données', 'est', 'lextraction', 'de']<jupyter_text>Trouver les mots mal orthographiés<jupyter_code>misspelled_words = []

for token in tokenized_text:
    if token not in tokenized_vocabulary:
        misspelled_words.append(token)
        
print(misspelled_words)<jupyter_output>['scence', 'conaissance', '', '', '', 'téorie', 'statistiqe', 'stokage', '', 'dicipline', 'come', '', '', '']
{'fraction_non_alphanumeric': 0.07877733598409543, 'fraction_numerical': 0.0011182902584493041, 'mean_word_length': 6.343978102189781, 'pattern_counts': {'":': 0, '<': 32, '<?xml version=': 0, '>': 32, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'chain_length': '10', 'dir': 'jupyter-structured-clean-dedup', 'id': '198311', 'license': 'MIT', 'n_tokens_mistral': 2410, 'n_tokens_neox': 2461, 'n_words': 761, 'path': 'Introduction aux fonctions.ipynb', 'repo_name': 'Bruno3869/python-les-fondamentaux', 'size': '8048'}