в примере сэмплинг переделан на жадную генерацию

README.md

@@ -42,10 +42,10 @@ from transformers import AutoTokenizer, AutoModelForCausalLM
 
 
 device = "cuda" if torch.cuda.is_available() else "cpu"
-
-tokenizer = AutoTokenizer.from_pretrained("inkoziev/rugpt_interpreter")
+model_name = "inkoziev/rugpt_interpreter"
+tokenizer = AutoTokenizer.from_pretrained(model_name)
 tokenizer.add_special_tokens({'bos_token': '<s>', 'eos_token': '</s>', 'pad_token': '<pad>'})
-model = AutoModelForCausalLM.from_pretrained("inkoziev/rugpt_interpreter")
+model = AutoModelForCausalLM.from_pretrained(model_name)
 model.to(device)
 
 # На вход модели подаем последние 2-3 реплики диалога. Каждая реплика на отдельной строке, начинается с символа "-"
@@ -57,17 +57,7 @@ input_text = """<s>- Как тебя зовут?
 
 encoded_prompt = tokenizer.encode(input_text, add_special_tokens=False, return_tensors="pt").to(device)
 
-output_sequences = model.generate(
-    input_ids=encoded_prompt,
-    max_length=100,
-    temperature=1.0,
-    top_k=30,
-    top_p=0.85,
-    repetition_penalty=1.2,
-    do_sample=True,
-    num_return_sequences=1,
-    pad_token_id=tokenizer.pad_token_id,
-)
+output_sequences = model.generate(input_ids=encoded_prompt, max_length=100, num_return_sequences=1, pad_token_id=tokenizer.pad_token_id)
 
 text = tokenizer.decode(output_sequences[0].tolist(), clean_up_tokenization_spaces=True)[len(input_text)+1:]
 text = text[: text.find('</s>')]