Eroare transformers.js
Salut!
Incerc sa folosesc acest model in transformers.js si primesc doua erori:
error - Error: Could not locate file: "https://huggingface.co/OpenLLM-Ro/RoLlama2-7b-Chat/resolve/main/onnx/model.onnx".
error - Error: Could not locate file: "https://huggingface.co/OpenLLM-Ro/RoLlama2-7b-Chat/resolve/main/tokenizer.json".
Se pot adauga in repo?
Salut!
In primul rand iti recomand sa folosesti modelul RoLlama2-7b-Instruct sau varianta RoLlama2-7b-DPO-Instruct. In functie de ce ai nevoie ai putea sa folosesti si variante mai noi, gasesti familiile de modele aici.
Daca vrei sa folosesti neaparat modelul asta, varianta onnx nu exista deci nu avem ce sa punem. Cat despre tokenizer.json ma poti ajuta cu codul care nu merge?
Am incercat si cu modele mai noi si primesc aceleasi erori. As vrea sa generez niste definitii pentru un set de cuvinte, ma uit dupa un model care sa nu fie foarte mare dar care sa fie capabil sa genereze corect acele definitii.
Acesta este codul:
import { pipeline } from "@huggingface/transformers";
const generator = await pipeline('text-generation', 'RoLlama2-7b-Instruct');
const messages = [
{ role: "system", content: "sistem prompt" },
{ role: "user", content: "user prompt" },
];
const output = await generator(text);
Daca eroarea este legata de "onnx", el trebuie exportat/generat. Vezi aici de exemplu.
O sa incerc. Multumesc!