<jupyter_start><jupyter_text><jupyter_code>import re
text = "I was wondering if anyone out there could enlighten me on this car."
shortword = re.compile(r'\W*\b\w{1,2}\b')
print(shortword.sub('', text))<jupyter_output><empty_output><jupyter_text>영어 기반(?) 정제와 정규화 기법- 표기가 다르지만 같은 의미인 단어들의 통합  - 어간 추출(stemming)  - 표제어 추출(lemmatizaiton)- 대, 소문자 통합  - US / us, Bush 같은 예시 제외하고 통합- 불필요한 단어의 제거  - 등장 빈도가 적은 단어  - 길이가 짧은 단어 (영어권 같은 경우 1-2인단어는 중요도가 낮음)- 정규 표현식 ★★★<jupyter_code><jupyter_output><empty_output>
{'fraction_non_alphanumeric': 0.13745019920318724, 'fraction_numerical': 0.00796812749003984, 'mean_word_length': 4.351063829787234, 'pattern_counts': {'":': 0, '<': 9, '<?xml version=': 0, '>': 9, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'chain_length': '2', 'dir': 'jupyter-structured-clean-dedup', 'id': '275473', 'license': 'MIT', 'n_tokens_mistral': 303, 'n_tokens_neox': 369, 'n_words': 63, 'path': 'colab/Cleaning_Normalization.ipynb', 'repo_name': 'cateto/python4NLP', 'size': '502'}