llama.cpp
#1
by
kil3r
- opened
Qra to Llama, nie zastanawiałeś się nad użyciem convert.py z repo:
https://github.com/ggerganov/llama.cpp
Jeśli znajdę czas to chciałbym zrobić kwantyzację i wypuścić obraz do ollamy to będzie łatwiej testować.
Robiłem też chyba wersję z llama.cpp z convert.py lokalnie, też trzeba było edytować config.json, zamiast rope_scaling 'dynamic' na linear lub None ustawienie. Jakiś rezulatat pojawił się.
Dopiero się tego wszystkiego uczę, więc dużo u mnie prób i błędów, jestem głębiej w temacie od 1,5 tygodnia zaledwie ;)