Update app.py

app.py

@@ -19,7 +19,7 @@ tokenizer.pad_token = tokenizer.eos_token
 # Definir longitud máxima de tokens
 MAX_INPUT_TOKEN_LENGTH = 4096
 
-def generate_response(input_text, temperature=0.7, max_new_tokens=50):
+def generate_response(input_text, temperature=0.2, max_new_tokens=50):
     """Función de generación de texto con el modelo."""
     input_ids = tokenizer.encode(input_text, return_tensors='pt')
     input_ids = input_ids.to(model.device)
@@ -30,7 +30,7 @@ def generate_response(input_text, temperature=0.7, max_new_tokens=50):
         streamer=streamer,
         max_new_tokens=max_new_tokens,
         do_sample=temperature != 0,
-        top_k=50,  # Limita las palabras más probables a 50
+        top_k=10,  # Limita las palabras más probables a 50
         top_p=0.9,  # Considera solo el 90% de la probabilidad acumulada
         temperature=temperature,
         eos_token_id=[tokenizer.eos_token_id]
@@ -61,10 +61,8 @@ def main():
         st.write(df.head())  # Mostrar las primeras filas del dataframe
         job_titles = df['job_title'].tolist()
         # Prompt inicial
-        initial_prompt = (""""
-            f"I want you to print the first record of {job_titles} in the screen. 
-            """
-        )
+        initial_prompt = f"I have a list of job titles: {job_titles}. Please give me the first job title from the list."
+
         st.write(f"Query: {query}")
         st.write(f"Prompt inicial: {initial_prompt}")