<jupyter_start><jupyter_text><jupyter_code>#!pip install transformers -U -q
!pip install transformers -U -q
! pip install sentencepiece
!pip freeze | grep transformers
from transformers import MBartForConditionalGeneration, MBart50TokenizerFast

model = MBartForConditionalGeneration.from_pretrained("facebook/mbart-large-50-one-to-many-mmt")


tokenizer = MBart50TokenizerFast.from_pretrained("facebook/mbart-large-50-one-to-many-mmt", src_lang="en_XX")

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import re

from sklearn.datasets import fetch_20newsgroups
categories = [
    'alt.atheism',
    'talk.religion.misc',
    'comp.graphics',
    'sci.space'
]
data_train = fetch_20newsgroups(subset='train', 
								remove=('headers', 'footers', 'quotes'),
                                categories=categories, 
                                shuffle=True, random_state=42)
data_train = str(data_train)
data_train = data_train.strip()
data_train = data_train.replace("\\n", " ")
data_train = data_train.replace("\\", "")
raw_sentences = re.split(r' *[\.\?!][\'"\)\]]* *', data_train)
raw_sentences = str(raw_sentences)
sentences = re.findall('"([^"]*)"', raw_sentences)
while("" in sentences):
    sentences.remove("")
# translate from English to Russian
for sentence in sentences[:100]:
  model_inputs = tokenizer(sentence, return_tensors="pt")
  generated_tokens = model.generate(
    **model_inputs,
    forced_bos_token_id=tokenizer.lang_code_to_id["ru_RU"]
  )
  translation = tokenizer.batch_decode(generated_tokens, skip_special_tokens=True)
  print(translation)<jupyter_output>["Привет, я заметил, что если вы сохраняете только модель (со всеми планами картирования тщательно расположенными) в файле ', '3DS, что когда вы перезагрузите его после перезагрузки 3DS, они получают по умолчанию позицию и ориентацию', 'Но если вы сохраняете в файле ', 'PRJ их позиции/ориентация сохраняются', 'Дали кто-то знает, почему эта информация не хранится в файле ', '3DS', 'Ничто явно не говорится в руководстве о сохранении правил текстуры в файле ', 'PRJ',,"]
[", 'Фийл PRJ', 'Is the', 'CEL file format available from somewhere', 'Rych"]
[">В статье <1993Apr19', '020359', '26996@sq','sq', 'com>, msb@sq','sq', 'com (Mark Brader) MB>"]
[',,']
[", '"]
['<NAME>']
["Пожалуйста, ответьте на вопросы, заданные вам в Charley Challenges',"]
[',,']
[', "Не забывайте, что это было риторическим вопросом",']
[", 'Дали кто-то знает больше об этом', 'Как много, чтобы посетить', '', '', '', '', 'Кто хочет пойти',"]
[',,']
[',,']
[', "Я могу думать о немногих (Хитлер утверждал, что христиани[...]
{'fraction_non_alphanumeric': 0.14777947932618682, 'fraction_numerical': 0.014165390505359877, 'mean_word_length': 4.979405034324943, 'pattern_counts': {'":': 0, '<': 6, '<?xml version=': 0, '>': 8, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 1, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'chain_length': '1', 'dir': 'jupyter-structured-clean-dedup', 'id': '51022', 'license': 'MIT', 'n_tokens_mistral': 996, 'n_tokens_neox': 1008, 'n_words': 225, 'path': 'English_to_Russian_Translation_with_Hugging_Face_and_MBart.ipynb', 'repo_name': 'aidarjpg/eng_to_ru_huggingface', 'size': '2618'}