<jupyter_start><jupyter_text>Tokenization<jupyter_code>tokens = [token.text for token in document_ar]
tokens<jupyter_output><empty_output><jupyter_text>Lemmatization<jupyter_code>for token in document_ar:
    print(f"{token.text} ===> {token.lemma_}")<jupyter_output>ولعل ===> ولعل
أحد ===> أحد
أهم ===> أهم
التطورات ===> التطورات
التي ===> التي
حققتها ===> حققتها
الرياضيات ===> الرياضيات
العربية ===> العربية
بدأ ===> بدأ
في ===> في
هذا ===> هذا
الوقت ===> الوقت
مع ===> مع
عمل ===> عمل
الخوارزمي ===> الخوارزمي
، ===> ،
أي ===> أي
بدايات ===> بدايات
الجبر ===> الجبر
. ===> .
من ===> من
المهم ===> المهم
أن ===> أن
نفهم ===> نفهم
مدى ===> مدى
أهمية ===> أهمية
هذه ===> هذه
الفكرة ===> الفكرة
الجديدة ===> الجديدة
. ===> .
لقد ===> لقد
كان ===> كان
ابتعادًا ===> ابتعادًا
ثوريًا ===> ثوريًا
عن ===> عن
المفهوم ===> المفهوم
اليوناني ===> اليوناني
للرياضيات ===> للرياضيات
الذي ===> الذي
كان ===> كان
أساسًا ===> أساسًا
الهندسة ===> الهندسة
. ===> .
كان ===> كان
الجبر ===> الجبر
نظرية ===> نظرية
موحدة ===> موحدة
سمحت ===> سمحت
بأن ===> بأن
يتم ===> يتم
التعامل ===> التعامل
مع ===> مع
الأعداد ===> الأعداد
العقلانية ===> العقلانية
والأعداد ===> والأعداد
غير ===> غير
المنطقية ===> المنطقية
والمقادير ===> والمقادير
الهندسية ===> الهندسية
وما ===> وما
إلى ===> إلى
ذ[...]<jupyter_text>Part of speech Tagging<jupyter_code>for token in document_ar:
    print(token.text, token.pos_)<jupyter_output>ولعل NOUN
أحد NOUN
أهم PROPN
التطورات VERB
التي PROPN
حققتها PROPN
الرياضيات ADJ
العربية NOUN
بدأ NOUN
في ADP
هذا NOUN
الوقت PROPN
مع PROPN
عمل PROPN
الخوارزمي PROPN
، PROPN
أي NOUN
بدايات NOUN
الجبر PROPN
. PUNCT
من DET
المهم NOUN
أن PROPN
نفهم PROPN
مدى PROPN
أهمية PROPN
هذه PROPN
الفكرة PROPN
الجديدة PROPN
. PUNCT
لقد PROPN
كان ADV
ابتعادًا PROPN
ثوريًا PROPN
عن PROPN
المفهوم PROPN
اليوناني PROPN
للرياضيات PROPN
الذي PROPN
كان PROPN
أساسًا PROPN
الهندسة PROPN
. PUNCT
كان PROPN
الجبر ADJ
نظرية PROPN
موحدة PROPN
سمحت PROPN
بأن NOUN
يتم PROPN
التعامل NOUN
مع PROPN
الأعداد PROPN
العقلانية PROPN
والأعداد PROPN
غير PROPN
المنطقية PROPN
والمقادير PROPN
الهندسية PROPN
وما PROPN
إلى NOUN
ذلك VERB
على NOUN
أنها NOUN
' PART
كائنات PROPN
جبرية PROPN
' PUNCT
. PUNCT
لقد PROPN
أعطى NOUN
الرياضيات VERB
مسارًا VERB
جديدًا PROPN
تمامًا PROPN
للتطور VERB
أوسع PROPN
بكثير PROPN
من ADP
حيث PROPN
المفهوم PROPN
إلى NOUN
ما PROPN
كان ADJ
موجودًا PROPN
من ADP
قبل PROPN
، PROPN
ووفر ADJ
وسيلة NOUN
للتطور VE[...]
{'fraction_non_alphanumeric': 0.13738551207327226, 'fraction_numerical': 0.0, 'mean_word_length': 4.790361445783133, 'pattern_counts': {'":': 0, '<': 11, '<?xml version=': 0, '>': 73, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'chain_length': '3', 'dir': 'jupyter-structured-clean-dedup', 'id': '258116', 'license': 'MIT', 'n_tokens_mistral': 1563, 'n_tokens_neox': 1409, 'n_words': 311, 'path': 'Spacy/spacy_ar.ipynb', 'repo_name': 'akelimad/nlp', 'size': '2402'}