Spaces:
Runtime error
Runtime error
Update app.py
Browse files
app.py
CHANGED
@@ -33,7 +33,7 @@ model = AutoModelForCausalLM.from_pretrained(
|
|
33 |
"somosnlp/NoticIA-7B",
|
34 |
torch_dtype=torch.bfloat16,
|
35 |
device_map="auto",
|
36 |
-
quantization_config=quantization_config,
|
37 |
)
|
38 |
|
39 |
print(f"Model loaded in {model.device}")
|
@@ -49,7 +49,7 @@ generation_config = GenerationConfig(
|
|
49 |
top_p=0.1,
|
50 |
repetition_penalty=1.1, # Ayuda a evitar que el modelo entre en bucles
|
51 |
encoder_repetition_penalty=1.1, # Favorecemos que el modelo cite el texto original
|
52 |
-
|
53 |
)
|
54 |
|
55 |
# Stop words, para evitar que el modelo genere tokens que no queremos.
|
|
|
33 |
"somosnlp/NoticIA-7B",
|
34 |
torch_dtype=torch.bfloat16,
|
35 |
device_map="auto",
|
36 |
+
#quantization_config=quantization_config,
|
37 |
)
|
38 |
|
39 |
print(f"Model loaded in {model.device}")
|
|
|
49 |
top_p=0.1,
|
50 |
repetition_penalty=1.1, # Ayuda a evitar que el modelo entre en bucles
|
51 |
encoder_repetition_penalty=1.1, # Favorecemos que el modelo cite el texto original
|
52 |
+
temperature=0.15, # temperature baja para evitar que el modelo genere texto muy creativo.
|
53 |
)
|
54 |
|
55 |
# Stop words, para evitar que el modelo genere tokens que no queremos.
|