<jupyter_start><jupyter_text>![spacy.png](data:image/png;base64,iVBORw0KGgoAAAANSUhEUgAABLAAAAGtCAYAAAAGUY0tAAAABmJLR0QA/wD/AP+gvaeTAAAgAElEQVR4nOzdeZhcZZXH8d+51Uvd6qzsW9hCSHdVFoEIKoiERXBBUKBZuqtjRIyKouIyMo4SHXXGXRGXIBDT1QljI4oLiIAEBRcwyJDuqiTEsBgQCEvWrlvVXXXP/NGRYQvp1Hbq3vp9noeZB6XqfvGB7qpz3/u+ABERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERERGFj1gHEBERERER1ZSqTLg+M3l4pDipaSTi+s1OFADUL7SqH4kBgCNoUWgbHCloEVv/9VKJ+J6o4/lOYVOztG7Z+oyzFZdMy1v9rRARNQoOsIiIiIiIKPiWL29y1++1H4AD4eBA+HIAoAdAsLcAkxXYDcBkjP7/SRW+eh7ARkA2KPSfDnSDQjZA5HH4xX+IOg83NxUf2dw1a2OFr0tE1DA4wCIiIiIiomBQlWhqzcEO/A4VJES1XUXaAT0IwD4AItaJO7EJwCN<KEY>//<KEY>AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAgPD+PzgqlDaJURs2AAAAAElFTkSuQmCC)  Installer et utiliser la librairie<jupyter_code>!pip install -U spaCy

import spacy
from spacy.lang.ar import *
text="""ربما كانت أحد أهم التطورات التي قامت بها الرياضيات العربية التي بدأت في هذا الوقت بعمل الخوارزمي و هي بدايات الجبر، و من المهم فهم كيف كانت هذه الفكرة الجديدة مهمة، فقد كانت خطوة ثورية بعيدا عن المفهوم اليوناني للرياضيات التي هي في جوهرها هندسة، الجبر كان نظرية موحدة تتيح الأعداد الكسرية و الأعداد اللا كسرية، و قدم وسيلة للتنمية في هذا الموضوع مستقبلا. و جانب آخر مهم لإدخال أفكار الجبر و هو أنه سمح بتطبيق الرياضيات على نفسها بطريقة لم تحدث من قبل"""
text_ar=Arabic()
text_ar=nlp(text)<jupyter_output><empty_output><jupyter_text>** 1 -Tokenization**<jupyter_code>for token in text_ar:
    print(token.text)
token_list=[]
for token in text_ar :
  token_list.append(token.text)
print(token_list)<jupyter_output>['ربما', 'كانت', 'أحد', 'أهم', 'التطورات', 'التي', 'قامت', 'بها', 'الرياضيات', 'العربية', 'التي', 'بدأت', 'في', 'هذا', 'الوقت', 'بعمل', 'الخوارزمي', 'و', 'هي', 'بدايات', 'الجبر', '،', 'و', 'من', 'المهم', 'فهم', 'كيف', 'كانت', 'هذه', 'الفكرة', 'الجديدة', 'مهمة', '،', 'فقد', 'كانت', 'خطوة', 'ثورية', 'بعيدا', 'عن', 'المفهوم', 'اليوناني', 'للرياضيات', 'التي', 'هي', 'في', 'جوهرها', 'هندسة', '،', 'الجبر', 'كان', 'نظرية', 'موحدة', 'تتيح', 'الأعداد', 'الكسرية', 'و', 'الأعداد', 'اللا', 'كسرية', '،', 'و', 'قدم', 'وسيلة', 'للتنمية', 'في', 'هذا', 'الموضوع', 'مستقبلا', '.', 'و', 'جانب', 'آخر', 'مهم', 'لإدخال', 'أفكار', 'الجبر', 'و', 'هو', 'أنه', 'سمح', 'بتطبيق', 'الرياضيات', 'على', 'نفسها', 'بطريقة', 'لم', 'تحدث', 'من', 'قبل']<jupyter_text>** 2 -Pos tagging**<jupyter_code>for word in text_ar :
  print(word.text, word.pos_)<jupyter_output>ربما 
كانت 
أحد 
أهم 
التطورات 
التي 
قامت 
بها 
الرياضيات 
العربية 
التي 
بدأت 
في 
هذا 
الوقت 
بعمل 
الخوارزمي 
و 
هي 
بدايات 
الجبر 
، 
و 
من 
المهم 
فهم 
كيف 
كانت 
هذه 
الفكرة 
الجديدة 
مهمة 
، 
فقد 
كانت 
خطوة 
ثورية 
بعيدا 
عن 
المفهوم 
اليوناني 
للرياضيات 
التي 
هي 
في 
جوهرها 
هندسة 
، 
الجبر 
كان 
نظرية 
موحدة 
تتيح 
الأعداد 
الكسرية 
و 
الأعداد 
اللا 
كسرية 
، 
و 
قدم 
وسيلة 
للتنمية 
في 
هذا 
الموضوع 
مستقبلا 
. 
و 
جانب 
آخر 
مهم 
لإدخال 
أفكار 
الجبر 
و 
هو 
أنه 
سمح 
بتطبيق 
الرياضيات 
على 
نفسها 
بطريقة 
لم 
تحدث 
من 
قبل<jupyter_text>**Parsing**<jupyter_code>from spacy import displacy
displacy.serve(text_ar, style="dep")<jupyter_output>Shutting down server on port 5000.<jupyter_text>**3-Lemmatization**<jupyter_code>for word in text_ar:
  print(word.text + ':' ,word.pos_, word.lemma_)<jupyter_output>ربما:  
كانت:  
أحد:  
أهم:  
التطورات:  
التي:  
قامت:  
بها:  
الرياضيات:  
العربية:  
التي:  
بدأت:  
في:  
هذا:  
الوقت:  
بعمل:  
الخوارزمي:  
و:  
هي:  
بدايات:  
الجبر:  
،:  
و:  
من:  
المهم:  
فهم:  
كيف:  
كانت:  
هذه:  
الفكرة:  
الجديدة:  
مهمة:  
،:  
فقد:  
كانت:  
خطوة:  
ثورية:  
بعيدا:  
عن:  
المفهوم:  
اليوناني:  
للرياضيات:  
التي:  
هي:  
في:  
جوهرها:  
هندسة:  
،:  
الجبر:  
كان:  
نظرية:  
موحدة:  
تتيح:  
الأعداد:  
الكسرية:  
و:  
الأعداد:  
اللا:  
كسرية:  
،:  
و:  
قدم:  
وسيلة:  
للتنمية:  
في:  
هذا:  
الموضوع:  
مستقبلا:  
.:  
و:  
جانب:  
آخر:  
مهم:  
لإدخال:  
أفكار:  
الجبر:  
و:  
هو:  
أنه:  
سمح:  
بتطبيق:  
الرياضيات:  
على:  
نفسها:  
بطريقة:  
لم:  
تحدث:  
من:  
قبل:
{'fraction_non_alphanumeric': 0.12226362366092222, 'fraction_numerical': 0.015137401024685608, 'mean_word_length': 5.015406162464986, 'pattern_counts': {'":': 0, '<': 19, '<?xml version=': 0, '>': 19, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 1, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'chain_length': '5', 'dir': 'jupyter-structured-clean-dedup', 'id': '641388', 'license': 'MIT', 'n_tokens_mistral': 3003, 'n_tokens_neox': 2762, 'n_words': 398, 'path': 'SpacyArabe.ipynb', 'repo_name': 'Hind-EL-BANANE1/NLP-TP', 'size': '61091'}