adding sutra tokenizer inspector app

.gitattributes

@@ -0,0 +1,35 @@
+*.7z filter=lfs diff=lfs merge=lfs -text
+*.arrow filter=lfs diff=lfs merge=lfs -text
+*.bin filter=lfs diff=lfs merge=lfs -text
+*.bz2 filter=lfs diff=lfs merge=lfs -text
+*.ckpt filter=lfs diff=lfs merge=lfs -text
+*.ftz filter=lfs diff=lfs merge=lfs -text
+*.gz filter=lfs diff=lfs merge=lfs -text
+*.h5 filter=lfs diff=lfs merge=lfs -text
+*.joblib filter=lfs diff=lfs merge=lfs -text
+*.lfs.* filter=lfs diff=lfs merge=lfs -text
+*.mlmodel filter=lfs diff=lfs merge=lfs -text
+*.model filter=lfs diff=lfs merge=lfs -text
+*.msgpack filter=lfs diff=lfs merge=lfs -text
+*.npy filter=lfs diff=lfs merge=lfs -text
+*.npz filter=lfs diff=lfs merge=lfs -text
+*.onnx filter=lfs diff=lfs merge=lfs -text
+*.ot filter=lfs diff=lfs merge=lfs -text
+*.parquet filter=lfs diff=lfs merge=lfs -text
+*.pb filter=lfs diff=lfs merge=lfs -text
+*.pickle filter=lfs diff=lfs merge=lfs -text
+*.pkl filter=lfs diff=lfs merge=lfs -text
+*.pt filter=lfs diff=lfs merge=lfs -text
+*.pth filter=lfs diff=lfs merge=lfs -text
+*.rar filter=lfs diff=lfs merge=lfs -text
+*.safetensors filter=lfs diff=lfs merge=lfs -text
+saved_model/**/* filter=lfs diff=lfs merge=lfs -text
+*.tar.* filter=lfs diff=lfs merge=lfs -text
+*.tar filter=lfs diff=lfs merge=lfs -text
+*.tflite filter=lfs diff=lfs merge=lfs -text
+*.tgz filter=lfs diff=lfs merge=lfs -text
+*.wasm filter=lfs diff=lfs merge=lfs -text
+*.xz filter=lfs diff=lfs merge=lfs -text
+*.zip filter=lfs diff=lfs merge=lfs -text
+*.zst filter=lfs diff=lfs merge=lfs -text
+*tfevents* filter=lfs diff=lfs merge=lfs -text

README.md

@@ -0,0 +1,12 @@
+---
+title: Sutra Tokenizer Comparison
+emoji: 📈
+colorFrom: green
+colorTo: gray
+sdk: gradio
+sdk_version: 4.31.5
+app_file: app.py
+pinned: false
+---
+
+Check out the configuration reference at https://huggingface.co/docs/hub/spaces-config-reference

app.py

@@ -0,0 +1,160 @@
+import logging
+import time
+
+import gradio as gr
+from transformers import AutoTokenizer
+import tiktoken
+
+logger = logging.getLogger(__name__)  # noqa
+
+def load_test_phrases(filename):
+    with open(f"./data/{filename}", "r", encoding="utf-8") as file:
+        texts = file.read().splitlines()
+    return texts
+
+# Initialize clients
+models = [
+          "meta-llama/Llama-2-7b-chat-hf",           # LLAMA-2
+          "beomi/llama-2-ko-7b",                     # LLAMA-2-ko
+          "openaccess-ai-collective/tiny-mistral",   # Mistral
+          "gpt-3.5-turbo",                           # GPT3.5
+          "meta-llama/Meta-Llama-3-8B-Instruct",     # LLAMA-3
+          "CohereForAI/aya-23-8B",                   # AYA
+          "google/gemma-1.1-2b-it",                  # GEMMA       //# requires log in to HF huggingface-cli
+          "gpt-4o",                                  # GPT4o
+          "TWO/sutra-alpha",                         # SUTRA
+         ]
+
+test_phrase_set = [
+    "நாங்கள் சந்திரனுக்கு ராக்கெட் பயணத்தில் இருக்கிறோம்",
+
+    "중성자 산란을 다섯 문장으로 설명해주세요",  # Korean,
+
+    "मुझे पाँच वाक्यों में न्यूट्रॉन प्रकीर्णन की व्याख्या दीजिए",  # Hindi
+    "mujhe paanch vaakyon mein nyootron prakeernan kee vyaakhya deejie",
+
+    "আমাকে পাঁচটি বাক্যে নিউট্রন বিচ্ছুরণের একটি ব্যাখ্যা দিন",  # Bengali/Bangla
+    "Amake pamcati bakye ni'utrana bicchuranera ekati byakhya dina",
+
+    "મને પાંચ વાક્યોમાં ન્યુટ્રોન સ્કેટરિંગની સમજૂતી આપો",  # Gujarati
+    "Mane panca vakyomam n'yutrona sketaringani samajuti apo",
+
+    "நியூட்ரான் சிதறல் பற்றிய விளக்கத்தை ஐந்து வாக்கியங்களில் கொடுங்கள்",  # Tamil
+    "Niyutran citaral parriya vilakkattai aintu vakkiyankalil kotunkal",
+
+    "मला पाच वाक्यात न्यूट्रॉन स्कॅटरिंगचे स्पष्टीकरण द्या",  # Marathi
+
+    "ఐదు వాక్యాలలో న్యూట్రాన్ స్కాటరింగ్ గురించి నాకు వివరణ ఇవ్వండి",  # Telugu
+]
+
+test_phrase_set_long_1 = load_test_phrases('multilingualphrases01.txt')
+test_phrase_set_long_2 = load_test_phrases('multilingualphrases02.txt')
+
+def generate_tokens_as_table(text):
+    table = []
+    for model in models:
+        if 'gpt' not in model:
+            tokenizer = AutoTokenizer.from_pretrained(model)
+            tokens = tokenizer.encode(text, add_special_tokens=False)
+        else:
+            tokenizer = tiktoken.encoding_for_model(model)
+            tokens = tokenizer.encode(text)
+        decoded = [tokenizer.decode([t]) for t in tokens]
+        table.append([model] + decoded)
+    return table
+
+def generate_tokenizer_table(input_text):
+    token_counts = {model: 0 for model in models}
+    vocab_size = {model: 0 for model in models}
+
+    for model in models:
+        if 'gpt' not in model:
+            tokenizer = AutoTokenizer.from_pretrained(model)
+            vocab_size[model] = tokenizer.vocab_size
+        else:
+            tokenizer = tiktoken.encoding_for_model(model)
+            vocab_size[model] = tokenizer.n_vocab
+
+        token_counts[model] += len(tokenizer.encode(input_text))
+
+    word_count = len(input_text.split(' '))
+
+    output = []
+    for m in models:
+        row = [m, vocab_size[m], word_count, token_counts[m], token_counts[m]/word_count]
+        output.append(row)
+
+    return output
+
+def generate_split_token_table(text):
+    table = generate_tokenizer_table(text)
+    records = gr.Dataframe(
+            table,
+            headers=['tokenizer', 'v size', '#word', '#token', '#tokens/word'],
+            datatype=["str", "number", "str"],
+            row_count=len(models),
+            col_count=(5, "fixed"),
+        )
+
+    return records
+
+with gr.Blocks() as sutra_token_count:
+    gr.Markdown(
+    """
+    # SUTRA Multilingual Tokenizer Specs & Stats.
+    ## Tokenize paragraphs in multiple languages and inspect how many tokens it takes to represent the multilingual paragraph.
+    """)
+    textbox = gr.Textbox(label="Input Text")
+    submit_button = gr.Button("Submit")
+    output = gr.Dataframe()
+    examples = [
+        [' '.join(test_phrase_set_long_1)],
+        [' '.join(test_phrase_set_long_2)],
+    ]
+    gr.Examples(examples=examples, inputs=[textbox])
+    submit_button.click(generate_split_token_table, inputs=[textbox], outputs=[output])
+
+def generate_tokens_table(text):
+    table = generate_tokens_as_table(text)
+    cols = len(table[0])
+    records = gr.Dataframe(
+            table,
+            headers=['model'] + [str(i) for i in range(cols - 1)],
+            row_count=2,
+            col_count=(cols, "fixed"),
+        )
+
+    return records
+
+with gr.Blocks() as sutra_tokenize:
+    gr.Markdown(
+    """
+    # SUTRA Multilingual Tokenizer Sentence Inspector.
+    ## Tokenize a sentence with various tokenizers and inspect how it's broken down.
+    """)
+    textbox = gr.Textbox(label="Input Text")
+    submit_button = gr.Button("Submit")
+    output = gr.Dataframe()
+    examples = test_phrase_set
+    gr.Examples(examples=examples, inputs=[textbox])
+    submit_button.click(generate_tokens_table, inputs=[textbox], outputs=[output])
+
+
+if __name__ == '__main__':
+    with gr.Blocks(analytics_enabled=False) as demo:
+        with gr.Row():
+            gr.Markdown(
+                """
+                ## <img src="https://playground.two.ai/sutra.svg" height="20"/>
+                """
+            )
+        with gr.Row():
+            gr.TabbedInterface(
+                interface_list=[sutra_tokenize, sutra_token_count],
+                tab_names=["Tokenize Text", "Tokenize Paragraphs"]
+            )
+
+demo.queue(default_concurrency_limit=5).launch(
+    server_name="0.0.0.0",
+    allowed_paths=["/"],
+)

data/multilingualphrases01.txt

@@ -0,0 +1,39 @@
+कुत्तों और बिल्लियों के बीच दो अंतर उनके व्यवहार और उनकी शारीरिक विशेषताएं हैं। कुत्ते आमतौर पर अधिक सामाजिक और प्रशिक्षित होते हैं, जबकि बिल्लियाँ अधिक स्वतंत्र होती हैं। शारीरिक विशेषताओं के संदर्भ में, बिल्लियों की तुलना में कुत्तों का आकार आमतौर पर बड़ा होता है और उनके कोट के पैटर्न अधिक विविध होते हैं। 
+kutton aur billiyon ke beech do mukhy antar hain unaka vyavahaar aur unakee shaareerik visheshataen. kutte aam taur par adhik saamaajik aur prashikshit hote hain, jabaki billiyaan adhik svatantr hotee hain. shaareerik visheshataon ke sandarbh mein, billiyon kee tulana mein kutton ke aakaar aur aakaar kee seema adhik vividh hotee hai. 
+কুকুর এবং বিড়ালের মধ্যে দুটি পার্থক্য হল তাদের আচরণ এবং তাদের শারীরিক বৈশিষ্ট্য। কুকুরগুলি সাধারণত আরও সামাজিক এবং প্রশিক্ষিত হয়, যখন বিড়ালগুলি আরও স্বাধীন। শারীরিক বৈশিষ্ট্যের পরিপ্রেক্ষিতে, বিড়ালের তুলনায় কুকুরের আকার এবং আকারের বিস্তৃত পরিসর রয়েছে। 
+Kukura ēbaṁ biṛālēra madhyē duṭi pārthakya hala tādēra ācaraṇa ēbaṁ tādēra śārīrika baiśiṣṭya. Kukuraguli sādhāraṇata āra'ō sāmājika ēbaṁ praśikṣita haẏa, yakhana biṛālaguli āra'ō sbādhīna. Uparantu, kukura sādhāraṇata ārō anugata ēbaṁ pratirakṣāmūlaka prakr̥ti āchē, yakhana biṛāla tādēra caṭapaṭē ēbaṁ śikāra kṣamatā jan'ya paricita haẏa. 
+कुत्रे आणि मांजरींमधील दोन मुख्य फरक म्हणजे त्यांचे वर्तन आणि त्यांची शारीरिक वैशिष्ट्ये. कुत्रे सामान्यतः अधिक सामाजिक आणि प्रशिक्षित असतात, तर मांजरी अधिक स्वतंत्र असतात. याव्यतिरिक्त, कुत्रे त्यांच्या निष्ठा आणि व्यायामाच्या गरजेसाठी ओळखले जातात, तर मांजरी सामान्यत: कमी देखभाल आणि स्वयंपूर्ण असतात. 
+కుక్కలు మరియు పిల్లుల మధ్య రెండు తేడాలు వాటి ప్రవర్తన మరియు వాటి శారీరక లక్షణాలు. కుక్కలు సాధారణంగా మరింత సామాజికంగా మరియు శిక్షణ పొందగలవు, అయితే పిల్లులు మరింత స్వతంత్రంగా ఉంటాయి. అదనంగా, పిల్లులతో పోలిస్తే కుక్కలు సాధారణంగా పెద్ద పరిమాణంలో ఉంటాయి. 
+Kukkalu mariyu pillula madhya reṇḍu tēḍālu vāṭi pravartana mariyu vāṭi śārīraka lakṣaṇālu. Kukkalu sādhāraṇaṅgā marinta sāmājikaṅgā mariyu śikṣaṇa pondagalavu, ayitē pillulu marinta svatantraṅgā uṇṭāyi mariyu takkuva śikṣaṇa pondutāyi. Adanaṅgā, pillulatō pōlistē kukkalu parimāṇanlō peddavigā uṇṭāyi.
+நாய்கள் மற்றும் பூனைகள் இரண்டும் பிரபலமான செல்லப்பிராணிகள், ஆனால் அவை பல வேறுபாடுகளைக் கொண்டுள்ளன. நாய்கள் பொதுவாக மிகவும் சமூகமானவை மற்றும் மக்களைச் சுற்றி இருப்பதை அனுபவிக்கின்றன, அதே நேரத்தில் பூனைகள் மிகவும் சுதந்திரமானவை. நாய்களுக்கு அதிக கவனம், உடற்பயிற்சி மற்றும் பயிற்சி தேவைப்படுகிறது, அதே சமயம் பூனைகள் பொதுவாக குறைந்த பராமரிப்புடன் இருக���கும். கூடுதலாக, நாய்கள் பேக் விலங்குகள் மற்றும் பெரும்பாலும் விசுவாசம் மற்றும் பாதுகாப்பு நடத்தைகளை வெளிப்படுத்துகின்றன, அதேசமயம் பூனைகள் தனித்து வேட்டையாடுகின்றன. 
+நாய்கள் மற்றும் பூனைகளுக்கு இடையிலான முக்கிய வேறுபாடுகள் அவற்றின் நடத்தை, உடல் பண்புகள் மற்றும் வளர்ப்பு வரலாறு ஆகியவை அடங்கும். நாய்கள் பொதுவாக மிகவும் சமூக மற்றும் பயிற்சியளிக்கக்கூடியவை, பூனைகள் மிகவும் சுதந்திரமானவை. நாய்கள் பரந்த அளவிலான அளவுகள் மற்றும் இனங்களைக் கொண்டுள்ளன, அதே நேரத்தில் பூனைகள் பொதுவாக சிறியவை மற்றும் குறைவான தனித்துவமான இனங்களைக் கொண்டுள்ளன. நாய்கள் ஆயிரக்கணக்கான ஆண்டுகளாக வளர்க்கப்படுகின்றன, அதே நேரத்தில் பூனைகள் சமீபத்தில் வளர்க்கப்பட்டன. 
+કૂતરા અને બિલાડી વચ્ચેના બે મુખ્ય તફાવતો તેમની શારીરિક લાક્ષણિકતાઓ અને તેમનું વર્તન છે. કૂતરા સામાન્ય રીતે મોટા હોય છે અને બિલાડીઓની તુલનામાં કદની વધુ વૈવિધ્યસભર શ્રેણી ધરાવે છે. વર્તનની દ્રષ્ટિએ, શ્વાન સામાન્ય રીતે વધુ સામાજિક અને માનવ ક્રિયાપ્રતિક્રિયા પર નિર્ભર હોય છે, જ્યારે બિલાડીઓ વધુ સ્વતંત્ર હોય છે અને માનવ સાથી પર ઓછા નિર્ભર હોય છે. 
+કૂતરા અને બિલાડીના વસવાટ વચ્ચેના બે મુખ્ય તફાવતો તેમના પસંદીદા વસવાટ કરો છો વાતાવરણ અને તેમના શિકારની વર્તણૂકો છે. શ્વાન વધુ અનુકૂલનશીલ હોય છે અને શહેરી વિસ્તારો સહિત વિવિધ વસવાટોમાં વિકાસ કરી શકે છે, જ્યારે બિલાડીઓ શાંત અને વધુ એકાંત જગ્યાઓ પસંદ કરે છે. વધુમાં, શ્વાન સામાન્ય રીતે કુદરતી શિકારીઓ નથી, જ્યારે બિલાડીઓમાં શિકાર કરવાની તીવ્ર વૃત્તિ હોય છે. 
+ನಾಯಿಗಳು ಮತ್ತು ಬೆಕ್ಕುಗಳ ನಡುವಿನ ಎರಡು ವ್ಯತ್ಯಾಸಗಳು ಅವುಗಳ ನಡವಳಿಕೆ ಮತ್ತು ಅವುಗಳ ದೈಹಿಕ ಗುಣಲಕ್ಷಣಗಳಾಗಿವೆ. ನಾಯಿಗಳು ಸಾಮಾನ್ಯವಾಗಿ ಹೆಚ್ಚು ಸಾಮಾಜಿಕ ಮತ್ತು ತರಬೇತಿ ನೀಡಬಲ್ಲವು, ಆದರೆ ಬೆಕ್ಕುಗಳು ಹೆಚ್ಚು ಸ್ವತಂತ್ರವಾಗಿರುತ್ತವೆ. ಹೆಚ್ಚುವರಿಯಾಗಿ, ಬೆಕ್ಕುಗಳಿಗೆ ಹೋಲಿಸಿದರೆ ನಾಯಿಗಳು ಸಾಮಾನ್ಯವಾಗಿ ಗಾತ್ರದಲ್ಲಿ ದೊಡ್ಡದಾಗಿರುತ್ತವೆ. 
+ನಾಯಿಗಳು ಮತ್ತು ಬೆಕ್ಕುಗಳ ನಡುವಿನ ಎರಡು ವ್ಯತ್ಯಾಸಗಳು ಅವುಗಳ ಸಾಮಾಜಿಕ ನಡವಳಿಕೆ ಮತ್ತು ಅವುಗಳ ಆಹಾರದ ಆದ್ಯತೆಗಳು. ನಾಯಿಗಳು ಸಾಮಾನ್ಯವಾಗಿ ಹೆಚ್ಚು ಸಾಮಾಜಿಕವಾಗಿರುತ್ತವೆ ಮತ್ತು ಪ್ಯಾಕ್‌ನ ಭಾಗವಾಗಿರುವುದನ್ನು ಆನಂದಿಸುತ್ತವೆ, ಆದರೆ ಬೆಕ್ಕುಗಳು ಹೆಚ್ಚು ಸ್ವತಂತ್ರವಾಗಿರುತ್ತವೆ ಮತ್ತು ಏಕಾಂತ ಚಟುವಟಿಕೆಗಳಿಗೆ ಆದ್ಯತೆ ನೀ���ುತ್ತವೆ. ಆಹಾರದ ವಿಷಯದಲ್ಲಿ, ನಾಯಿಗಳು ಸರ್ವಭಕ್ಷಕಗಳಾಗಿವೆ ಮತ್ತು ಮಾಂಸ ಮತ್ತು ತರಕಾರಿಗಳನ್ನು ಒಳಗೊಂಡಂತೆ ವಿವಿಧ ಆಹಾರಗಳನ್ನು ತಿನ್ನಬಹುದು, ಆದರೆ ಬೆಕ್ಕುಗಳು ಕಡ್ಡಾಯ ಮಾಂಸಾಹಾರಿಗಳು ಮತ್ತು ಪ್ರಾಥಮಿಕವಾಗಿ ಮಾಂಸವನ್ನು ಒಳಗೊಂಡಿರುವ ಆಹಾರದ ಅಗತ್ಯವಿರುತ್ತದೆ. 
+നായ്ക്കളും പൂച്ചകളും തമ്മിലുള്ള രണ്ട് വ്യത്യാസങ്ങൾ അവയുടെ സ്വഭാവവും ശാരീരിക സവിശേഷതകളുമാണ്. നായ്ക്കൾ പൊതുവെ കൂടുതൽ സാമൂഹികവും പരിശീലിപ്പിക്കാവുന്നതുമാണ്, അതേസമയം പൂച്ചകൾ കൂടുതൽ സ്വതന്ത്രരാണ്. ശാരീരിക സ്വഭാവസവിശേഷതകളുടെ കാര്യത്തിൽ, പൂച്ചകളെ അപേക്ഷിച്ച് നായ്ക്കൾക്ക് സാധാരണയായി വലിയ വലിപ്പവും വൈവിധ്യമാർന്ന ഇനങ്ങളുമുണ്ട്. 
+ਕੁੱਤਿਆਂ ਅਤੇ ਬਿੱਲੀਆਂ ਵਿੱਚ ਦੋ ਅੰਤਰ ਉਹਨਾਂ ਦੇ ਵਿਹਾਰ ਅਤੇ ਉਹਨਾਂ ਦੀਆਂ ਸਰੀਰਕ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਹਨ। ਕੁੱਤੇ ਆਮ ਤੌਰ 'ਤੇ ਵਧੇਰੇ ਸਮਾਜਿਕ ਅਤੇ ਸਿਖਲਾਈਯੋਗ ਹੁੰਦੇ ਹਨ, ਜਦੋਂ ਕਿ ਬਿੱਲੀਆਂ ਵਧੇਰੇ ਸੁਤੰਤਰ ਹੁੰਦੀਆਂ ਹਨ। ਇਸ ਤੋਂ ਇਲਾਵਾ, ਕੁੱਤੇ ਬਿੱਲੀਆਂ ਦੇ ਮੁਕਾਬਲੇ ਆਕਾਰ ਵਿਚ ਵੱਡੇ ਹੁੰਦੇ ਹਨ। 
+কুকুৰ আৰু মেকুৰীৰ মাজত দুটা পাৰ্থক্য হ’ল ইহঁতৰ আচৰণ আৰু ইহঁতৰ শাৰীৰিক বৈশিষ্ট্য। কুকুৰ সাধাৰণতে অধিক সামাজিক আৰু প্ৰশিক্ষণযোগ্য, আনহাতে মেকুৰী অধিক স্বাধীন। ইয়াৰ উপৰিও কুকুৰৰ ঘ্ৰাণশক্তি সাধাৰণতে শক্তিশালী আৰু শাৰীৰিকভাৱে অধিক সক্ৰিয় হয়, আনহাতে মেকুৰী চঞ্চলতা আৰু চিকাৰ কৰাৰ ক্ষমতাৰ বাবে জনাজাত। 
+کتوں اور بلیوں کے درمیان دو اہم فرق ان کے رویے اور ان کی جسمانی خصوصیات ہیں۔ کتے عام طور پر زیادہ سماجی اور تربیت یافتہ ہوتے ہیں، جبکہ بلیاں زیادہ آزاد ہوتی ہیں۔ جسمانی خصلتوں کے لحاظ سے، بلیوں کے مقابلے کتوں کے سائز اور شکلیں زیادہ متنوع ہوتی ہیں۔ 
+କୁକୁର ଏବଂ ବିଲେଇଙ୍କ ମଧ୍ୟରେ ଦୁଇଟି ପାର୍ଥକ୍ୟ ହେଉଛି ସେମାନଙ୍କର ସାମାଜିକ ଆଚରଣ ଏବଂ ସେମାନଙ୍କର ଶାରୀରିକ ଗୁଣ | କୁକୁରମାନେ ସାଧାରଣତ more ଅଧିକ ସାମାଜିକ ଅଟନ୍ତି ଏବଂ ଏକ ପ୍ୟାକ୍ ର ଅଂଶ ହୋଇ ଉପଭୋଗ କରନ୍ତି, ଯେତେବେଳେ ବିଲେଇମାନେ ଅଧିକ ସ୍ୱାଧୀନ ଏବଂ ଏକାକୀ କାର୍ଯ୍ୟକଳାପକୁ ପସନ୍ଦ କରନ୍ତି | ଏହା ସହିତ, ବିଲେଇମାନଙ୍କ ତୁଳନାରେ କୁକୁରମାନଙ୍କର ଏକ ବ୍ୟାପକ ଧ୍ୱନି ଅଛି | 
+Two differences between dogs and cats are their social behavior and their dietary preferences. Dogs are generally more social animals, often forming strong bonds with their human owners and other animals. Cats, on the other hand, are more independent and tend to be less social. In terms of diet, dogs are omnivores and can thrive on a variety of foods, including both meat and plant-based diets. Cats, however, are obligate carnivores and require a diet primarily consisting of meat. 
+Les deux principales différences entre les chiens et les chats sont leur comportement et leurs caractéristiques physiques. Les chiens sont généralement plus sociaux et faciles à dresser, tandis que les chats sont plus indépendants. De plus, les chiens sont généralement plus grands et ont une apparence physique plus large que les chats. 
+Due differenze tra cani e gatti sono il loro comportamento e le loro caratteristiche fisiche. I cani sono generalmente più socievoli e addestrabili, mentre i gatti sono più indipendenti. Inoltre, i cani hanno in genere una gamma più varia di dimensioni e forme rispetto ai gatti. 
+Dos diferencias entre perros y gatos son su comportamiento social y sus preferencias dietéticas. Los perros son generalmente más sociables y disfrutan ser parte de una manada, mientras que los gatos son más independientes y prefieren actividades solitarias. Además, los perros son omnívoros y pueden prosperar con una dieta variada que incluya carne y alimentos de origen vegetal, mientras que los gatos son carnívoros obligados y requieren una dieta que consista principalmente en carne. 
+Zwei Unterschiede zwischen Hunden und Katzen sind ihr Sozialverhalten und ihre Ernährungspräferenzen. Hunde sind im Allgemeinen eher soziale Tiere und gehen oft starke Bindungen zu Menschen und anderen Tieren ein. Katzen hingegen sind tendenziell unabhängiger und benötigen möglicherweise nicht so viel soziale Interaktion. Was die Ernährung betrifft, sind Hunde Allesfresser und können sich von einer Vielzahl von Nahrungsmitteln ernähren, darunter sowohl Fleisch als auch pflanzliche Optionen. Katzen sind jedoch reine Fleischfresser und benötigen eine überwiegend fleischhaltige Ernährung. 
+As duas principais diferenças entre cães e gatos são o comportamento e as características físicas. Os cães são geralmente mais sociais e treináveis, enquanto os gatos são mais independentes. Além disso, os cães têm uma variedade maior de tamanhos e raças em comparação aos gatos. 
+개와 고양이의 두 가지 차이점은 사회적 행동과 신체적 특성입니다. 개는 일반적으로 더 사교적이며 무리의 일부가 되는 것을 좋아하는 반면, 고양이는 더 독립적입니다. 게다가 개는 고양이에 비해 크기가 더 큰 경향이 있습니다. 
+สุนัขและแมวมีความแตกต่างกันหลายประการ โดยทั่วไปแล้วสุนัขชอบเข้าสังคมมากกว่าและกระตือรือร้นที่จะเอาใจ ในขณะที่แมวมักจะรักอิสระมากกว่า สุนัขต้องการการออกกำลังกายและความเอาใจใส่มากกว่า ในขณะที่แมวมักจะได้รับการดูแลต่ำมากกว่า นอกจากนี้ สุนัขยังเป็นสัตว์แพ็คและมีแนวโน้มที่จะซื่อสัตย์มากกว่า ในขณะที่แมวเป็นสัตว์สันโดษและอาจโดดเดี่ยวมากกว่า 
+تعتبر الكلاب والقطط من الحيوانات الأليفة المشهورة، ولكن هناك العديد من الاختلافات بينهما. الكلاب بشكل عام أكثر اجتماعية وتستمتع بالتواجد حول الناس، بينما القطط أكثر استقلالية. تتطلب الكلاب مزيدًا من الاهتمام والتمرين والتدريب، بينما تتطلب القطط عادةً قدرًا أقل من الصيانة. بالإضافة إلى ذلك، تُعرف الكلاب بولائها وطبيعتها الحمائية، بينما غالبًا ما يُنظر إلى القطط على أنها أكثر عزلة واعتمادًا على الذات. 
+Hai điểm khác biệt chính giữa chó và mèo là hành vi và đặc điểm thể chất của chúng. Chó thường có tính xã hội và dễ huấn luyện hơn, trong khi mèo độc lập hơn. Về đặc điểm thể chất, chó có kích thước và hình dạng đa dạng hơn so với mèo. 
+Двумя основными различиями между собаками и кошками являются их поведение и физические характеристики. Собаки, как правило, более общительны и поддаются дрессировке, а кошки более независимы. Кроме того, собаки имеют более широкий диапазон размеров и форм по сравнению с кошками. 
+Dva razlichiya mezhdu sobakami i koshkami — eto ikh povedeniye i fizicheskiye kharakteristiki. Sobaki, kak pravilo, boleye obshchitel'ny i poddayutsya dressirovke, a koshki boleye nezavisimy. Krome togo, sobaki obychno krupneye koshek. 
+犬と猫の主な違いは、身体的特徴、行動、家畜化の歴史です。 犬は一般的に猫よりも大きく、サイズや形も多様です。 彼らは忠誠心、社交性、そして訓練を受ける能力で知られています。 一方、猫は通常、より小型で機敏です。 彼らはより独立心が強く、よそよそしいという評判が��ります。 さらに、犬は何千年も前から家畜化されており、人間とともに働いてきた長い歴史がありますが、猫は家畜化の歴史がより新しく、主に伴侶として飼われています。 
+Inu to neko wa dochira mo ninkinoaru pettodesuga, ikutsu ka no chigai ga arimasu. Inu wa ippan'ni shakō-tekideari, yori ōku no chūi to undō o hitsuyō to shimasu. Neko wa yori dokuritsu kokoro ga tsuyoku, amari chūi o hitsuyō to shimasen. Tsūjō, inu wa neko ni kurabete karada ga ōkīdesu. Sarani, inu wa chūsei kokoro to kunren nōryoku ga takai koto de shira rete imasuga, neko wa yori jiritsu shite ori, kunren ni taisuru apurōchi ga kotonarimasu. 
+Köpekler ve kediler arasındaki iki temel fark, davranışları ve fiziksel özellikleridir. Köpekler genellikle daha sosyal ve eğitilebilir, kediler ise daha bağımsızdır. Fiziksel özellikler açısından köpekler, kedilere kıyasla daha çeşitli boyut ve şekillere sahiptir. 
+Дві відмінності між собаками та котами — це їх поведінка та фізичні характеристики. Собаки, як правило, більш соціальні та піддаються дресируванню, тоді як коти більш незалежні та менш піддаються дресируванню. З точки зору фізичних характеристик, собаки зазвичай мають більший розмір і більш різноманітний діапазон порід, тоді як коти, як правило, менші та мають більш послідовну структуру тіла. 
+دو تفاوت اصلی سگ و گربه رفتار و ویژگی های فیزیکی آنهاست. سگ ها عموماً اجتماعی تر و آموزش پذیرتر هستند، در حالی که گربه ها مستقل تر هستند. علاوه بر این، سگ ها در مقایسه با گربه ها طیف وسیع تری از اندازه و نژاد دارند. 
+Twee verschillen tussen honden en katten zijn hun sociale gedrag en hun fysieke kenmerken. Honden zijn over het algemeen socialere dieren en vormen vaak een sterke band met hun baasjes en andere honden. Katten daarentegen zijn doorgaans onafhankelijker en hebben mogelijk niet zoveel sociale interactie nodig. Wat fysieke kenmerken betreft, hebben honden doorgaans een gevarieerder scala aan maten en vormen dan katten, die over het algemeen een meer uniforme lichaamsstructuur hebben. 
+Οι δύο βασικές διαφορές μεταξύ σκύλων και γατών είναι η συμπεριφορά τους και τα φυσικά τους χαρακτηριστικά. Οι σκύλοι είναι γενικά πιο κοινωνικοί και εκπαιδεύσιμοι, ενώ οι γάτες είναι πιο ανεξάρτητες. Επιπλέον, οι σκύλοι είναι συνήθως μεγαλύτεροι σε μέγεθος σε σύγκριση με τις γάτες. 
+Dwie różnice między psami i kotami to ich zachowanie i cechy fizyczne. Psy są na ogół bardziej towarzyskie i podatne na szkolenie, podczas gdy koty są bardziej niezależne. Ponadto psy mają zazwyczaj bardziej lojalny i opiekuńczy charakter, podczas gdy koty są znane ze swojej zwinności i umiejętności łowieckich. 
+Dua perbedaan antara anjing dan kucing adalah perilaku sosial dan preferensi makanan mereka. Anjing umumnya adalah hewan yang lebih sosial, sering kali membentuk ikatan yang kuat dengan manusia dan hewan lainnya. Kucing, sebaliknya, lebih mandiri dan biasanya lebih menyukai aktivitas menyendiri. Dalam hal pola makan, anjing adalah omnivora dan dapat berkembang biak dengan berbagai sumber makanan, termasuk daging dan pola makan nabati. Kucing, bagaimanapun, adalah karnivora obligat dan membutuhkan makanan yang terutama terdiri dari daging untuk kesehatan yang optimal. 

data/multilingualphrases02.txt

@@ -0,0 +1,60 @@
+We are building AI for all languages beyond English beyond text and voice. We are building AI for all.
+"हम अंग्रेजी से परे, टेक्स्ट और वॉयस से परे सभी भाषाओं के लिए AI का निर्माण कर रहे हैं। हम सभी के लिए AI का निर्माण कर रहे हैं।"
+"ham angrejee se pare, tekst aur voyas se pare sabhee bhaashaon ke lie ai ka nirmaan kar rahe hain. ham sabhee ke lie ai ka nirmaan kar rahe hain."
+আমরা টেক্সট এবং ভয়েসের বাইরে ইংরেজির বাইরে সব ভাষার জন্য AI তৈরি করছি। আমরা সবার জন্য এআই তৈরি করছি।
+Amara teksata ebam bhayesera ba'ire inrejira ba'ire saba bhasara jan'ya AI tairi karachi. Amara sabara jan'ya e'a'i tairi karachi.
+आम्ही मजकूर आणि आवाजाच्या पलीकडे इंग्रजीच्या पलीकडे असलेल्या सर्व भाषांसाठी AI तयार करत आहोत. आम्ही सर्वांसाठी AI तयार करत आहोत.
+మేము టెక్స్ట్ మరియు వాయిస్‌కి మించి ఆంగ్లానికి మించిన అన్ని భాషల కోసం AIని రూపొందిస్తున్నాము. మేము అందరి కోసం AIని నిర్మిస్తున్నాము.
+Mēmu ṭeksṭ mariyu vāyis‌ki min̄ci āṅglāniki min̄cina anni bhāṣala kōsaṁ AIni rūpondistunnāmu. Mēmu andari kōsaṁ AIni nirmistunnāmu.
+உரை மற்றும் குரல் என்பதைத் தாண்டி ஆங்கிலத்தைத் தாண்டி அனைத்து மொழிகளுக்கும் AI உருவாக்குகிறோம். நாங்கள் அனைவருக்கும் AI உருவாக்குகிறோம்.
+Urai maṟṟum kural eṉpatait tāṇṭi āṅkilattait tāṇṭi aṉaittu moḻikaḷukkum AI uruvākkukiṟōm. Nāṅkaḷ aṉaivarukkum AI uruvākkukiṟōm.
+અમે ટેક્સ્ટ અને વૉઇસ ઉપરાંત અંગ્રેજી ઉપરાંત તમામ ભાષાઓ માટે AI બનાવી રહ્યા છીએ. અમે બધા માટે AI બનાવી રહ્યા છીએ.
+Amē ṭēksṭa anē vŏ'isa uparānta aṅgrējī uparānta tamāma bhāṣā'ō māṭē AI banāvī rahyā chī'ē. Amē badhā māṭē AI banāvī rahyā chī'ē.
+ನಾವು ಪಠ್ಯ ಮತ್ತು ಧ್ವನಿಯನ್ನು ಮೀರಿ ಇಂಗ್ಲಿಷ್‌ನ ಆಚೆಗಿನ ಎಲ್ಲಾ ಭಾಷೆಗಳಿಗೆ AI ಅನ್ನು ನಿರ್ಮಿಸುತ್ತಿದ್ದೇವೆ. ನಾವು ಎಲ್ಲರಿಗೂ AI ಅನ್ನು ನಿರ್ಮಿಸುತ್ತಿದ್ದೇವೆ.
+Nāvu paṭhya mattu dhvaniyannu mīri iṅgliṣ‌na ācegina ellā bhāṣegaḷige AI annu nirmisuttiddēve. Nāvu ellarigū AI annu nirmisuttiddēve.
+ടെക്‌സ്‌റ്റിനും വോയ്‌സിനും അപ്പുറം ഇംഗ്ലീഷിനപ്പുറം എല്ലാ ഭാഷകൾക്കുമായി ഞങ്ങൾ AI നിർമ്മിക്കുകയാണ്. ഞങ്ങൾ എല്ലാവർക്കും AI നിർമ്മിക്കുകയാണ്.
+আমি লিখা আৰু কণ্ঠৰ বাহিৰেও ইংৰাজীৰ বাহিৰেও সকলো ভাষাৰ বাবে AI নিৰ্মাণ কৰিছো। আমি সকলোৰে বাবে AI নিৰ্মাণ কৰি আছো।
+ہم متن اور آواز سے ہٹ کر انگریزی کے علاوہ تمام زبانوں کے لیے AI بنا رہے ہیں۔ ہم سب کے لیے AI بنا رہے ہیں۔
+ପାଠ୍ୟ ଏବଂ ସ୍ୱର ବାହାରେ ଇଂରାଜୀ ବାହାରେ ସମସ୍ତ ଭାଷା ପାଇଁ ଆମେ AI ନିର୍ମାଣ କରୁଛୁ | ଆମେ ସମସ୍ତଙ୍କ ପାଇଁ AI ନିର୍ମାଣ କରୁଛୁ |
+We are building AI for all languages beyond English beyond text and voice. We are building AI for all.
+"Nous construisons l'IA pour toutes les langues au-delà de l'anglais, au-delà du texte et de la voix. Nous construisons l’IA pour tous."
+Stiamo costruendo un'intelligenza artificiale per tutte le lingue oltre l'inglese oltre al testo e alla voce. Stiamo costruendo un’intelligenza artificiale per tutti.
+"Estamos creando IA para todos los idiomas además del inglés, más allá del texto y la voz. Estamos construyendo IA para todos."
+"Wir entwickeln KI für alle Sprachen außer Englisch, für Text und Sprache. Wir entwickeln KI für alle."
+"Estamos construindo IA para todos os idiomas além do inglês, além de texto e voz. Estamos construindo IA para todos."
+문자와 음성을 넘어 영어를 넘어 모든 언어에 대한 AI를 구축하고 있습니다. 우리는 모두를 위한 AI를 구축하고 있습니다.
+เรากำลังสร้าง AI สำหรับทุกภาษา นอกเหนือจากภาษาอังกฤษ นอกเหนือจากข้อความและเสียง เรากำลังสร้าง AI สำหรับทุกคน
+نحن نبني الذكاء الاصطناعي لجميع اللغات بخلاف اللغة الإنجليزية بما يتجاوز النص والصوت. نحن نبني الذكاء الاصطناعي للجميع.
+nahn nabni aldhaka' aliastinaeia lijamie allughat bikhilaf allughat al'iinjiliziat bima yatajawaz alnasa walsawta. nahn nabni aldhaka' aliastinaeia liljamiei.
+Chúng tôi đang xây dựng AI cho tất cả các ngôn ngữ ngoài tiếng Anh ngoài văn bản và giọng nói. Chúng tôi đang xây dựng AI cho tất cả mọi người.
+"Metin ve sesin ötesinde, İngilizce dışındaki tüm diller için yapay zeka geliştiriyoruz. Herkes için yapay zeka inşa ediyoruz."
+"Ми створюємо штучний інтелект для всіх мов, крім англійської, крім тексту та голосу. Ми створюємо ШІ для всіх."
+ما در حال ساخت هوش مصنوعی برای همه زبان‌های فراتر از زبان انگلیسی، فراتر از متن و صدا هستیم. ما در حال ساخت هوش مصنوعی برای همه هستیم.
+"We bouwen AI voor alle talen behalve Engels, behalve tekst en stem. Wij bouwen AI voor iedereen."
+हामी पाठ र आवाज भन्दा अङ्ग्रेजी बाहिर सबै भाषाहरूको लागि AI निर्माण गर्दैछौं। हामी सबैका लागि एआई निर्माण गर्दैछौं।
+"Tworzymy sztuczną inteligencję dla wszystkich języków poza angielskim, poza tekstem i głosem. Tworzymy sztuczną inteligencję dla wszystkich."
+Kami sedang membangun AI untuk semua bahasa selain bahasa Inggris selain teks dan suara. Kami sedang membangun AI untuk semua.
+Ons bou KI vir alle tale buite Engels buiten teks en stem. Ons bou KI vir almal.
+ከጽሑፍ እና ከድምጽ በላይ ከእንግሊዝኛ በላይ ለሁሉም ቋንቋዎች AI እየገነባን ነው። ለሁሉም AI እየገነባን ነው።
+"Մենք կառուցում ենք AI բոլոր լեզուների համար, բացի անգլերենից, բացի տեքստից և ձայնից: Մենք կառուցում ենք AI բոլորի համար:"
+An bɛ ka AI jɔ kan bɛɛ kama tubabukan kɔfɛ sɛbɛnni ni kan kɔfɛ. An bɛ ka AI jɔ bɛɛ ye.
+"Мы ствараем штучны інтэлект для ўсіх моў, акрамя тэксту і голасу, акрамя англійскай. Мы ствараем штучны інтэлект для ўсіх."
+Ние изграждаме AI за всички езици извън английския освен текст и глас. Ние изграждаме AI за всички.
+我们正在为英语以外的所有语言（包括文本和语音）构建人工智能。我们正在为所有人构建人工智能。
+Vytváříme umělou inteligenci pro všechny jazyky kromě angličtiny kromě textu a hlasu. Vytváříme AI pro všechny.
+Vi bygger AI til alle sprog ud over engelsk ud over tekst og stemme. Vi bygger AI til alle.
+Rakennamme tekoälyä kaikille kielille englannin lisäksi tekstin ja äänen lisäksi. Rakennamme tekoälyä kaikille.
+"Δημιουργούμε τεχνητή νοημοσύνη για όλες τις γλώσσες πέρα ​​από τα αγγλικά, πέρα ​​από το κείμενο και τη φωνή. Χτίζουμε AI για όλους."
+אנו בונים AI לכל השפות מעבר לאנגלית מעבר לטקסט ולקול. אנחנו בונים AI לכולם.
+Kei te hangaia e matou he AI ​​mo nga reo katoa i tua atu o te reo Ingarihi i tua atu i te tuhinga me te reo. Kei te hanga AI matou mo te katoa.
+"Construim AI pentru toate limbile dincolo de engleză, dincolo de text și voce. Construim AI pentru toți."
+Gradimo AI za vse jezike poleg angleščine poleg besedila in glasu. Gradimo AI za vse.
+Vi bygger AI för alla språk utöver engelska förutom text och röst. Vi bygger AI för alla.
+Sakha i-AI yazo zonke iilwimi ngaphandle kwesiNgesi ngaphaya kwesicatshulwa kunye nelizwi. Sakha i-AI kumntu wonke.
+بىز تېكىست ۋە ئاۋازدىن باشقا ئىنگلىز تىلىدىن باشقا بارلىق تىللارغا سۈنئىي ئەقىل ياساۋاتىمىز. بىز ھەممىمىز ئۈچۈن سۈنئىي ئەقىل بەرپا قىلىۋاتىم��ز.
+Waxaan u dhisaynaa AI dhammaan luqadaha ka baxsan Ingiriisiga qoraalka iyo codka. Waxaan u dhisaynaa AI dhammaan.
+ਅਸੀਂ ਟੈਕਸਟ ਅਤੇ ਆਵਾਜ਼ ਤੋਂ ਇਲਾਵਾ ਅੰਗਰੇਜ਼ੀ ਤੋਂ ਇਲਾਵਾ ਸਾਰੀਆਂ ਭਾਸ਼ਾਵਾਂ ਲਈ AI ਬਣਾ ਰਹੇ ਹਾਂ। ਅਸੀਂ ਸਾਰਿਆਂ ਲਈ AI ਬਣਾ ਰਹੇ ਹਾਂ।
+"Мы создаем ИИ для всех языков, помимо английского, помимо текста и голоса. Мы создаем ИИ для всех."
+"My sozdayem II dlya vsekh yazykov, pomimo angliyskogo, pomimo teksta i golosa. My sozdayem II dlya vsekh."
+私たちは、英語だけでなく、テキストや音声を超えてあらゆる言語に対応する AI を構築しています。私たちはすべての人のための AI を構築しています。
+"Watashitachiha, eigo dakedenaku, tekisuto ya onsei o koeta arayuru gengo ni taio suru AI o kochiku shite imasu. Watashitachiha subete no hitonotame no AI o kochiku shite imasu."

requirements.txt

@@ -0,0 +1,3 @@
+transformers
+tiktoken
+gradio