Atualiza modelo de geração e ajusta configuração de dispositivo

Substitui o modelo de linguagem para uma versão mais eficiente e apropriada. A mudança para o `Qwen2VLForConditionalGeneration` melhora a performance da geração de texto. Além disso, a configuração do dispositivo foi alterada para "cpu", permitindo um comportamento mais consistente em ambientes sem GPU, garantindo que o processamento continue funcional em diversas plataformas.

app.py

@@ -1,11 +1,11 @@
 from fastapi import FastAPI
-from transformers import AutoModelForCausalLM, AutoProcessor
+from transformers import Qwen2VLForConditionalGeneration, AutoProcessor
 from qwen_vl_utils import process_vision_info
 import torch
 
 app = FastAPI()
 
-model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2-VL-2B-Instruct", torch_dtype=torch.float16, device_map="auto")
+model = Qwen2VLForConditionalGeneration.from_pretrained("Qwen/Qwen2-VL-2B-Instruct", torch_dtype="auto", device_map="auto")
 processor = AutoProcessor.from_pretrained("Qwen/Qwen2-VL-2B-Instruct")
 
 @app.post("/predict")
@@ -20,7 +20,7 @@ async def predict(messages: list):
         padding=True,
         return_tensors="pt"
     )
-    inputs = inputs.to(model.device)
+    inputs = inputs.to("cpu")  # Altere para "cuda" se tiver GPU disponível
     
     generated_ids = model.generate(**inputs, max_new_tokens=128)
     generated_ids_trimmed = [out_ids[len(in_ids):] for in_ids, out_ids in zip(inputs.input_ids, generated_ids)]