Problem generowanie odpowiedzi.

#1
by Wielebnyd - opened

Model generuje dziwną odpowiedź:

Instruction: Jakie jest znaczenie Protistów?
Response: Protisty to grupa organizmów, które nie należą do zwierząt ani roślin. Są to organizmy jednokomórkowe lub wielokomórkowe, które żyją w różnych środowiskach, w tym w wodzie, na lądzie i w powietrzu. Protisty odgrywają ważną rolę w ekosystemach i są ważnymi źródłami odżywienia dla wielu zwierząt.

Instruction:

Wygeneruj opis procesu fotosyntezy.

Często generuje losowe teksty nawet w różnych językach.

Jest tak z kilku powodów:

  1. model bazowy LLaMa (wersja 1) widział bardzo mało tekstów w języku polskim podczas pre-treningu, dlatego słabo zna i używa tego języka
  2. zbiór instrukcji użyty do fine-tuningu był wygenerowany przy pomocy modelu GPT-3.5, który również z językiem polskim nie radzi sobie świetnie
  3. zbiór instrukcji zawiera dużo błędów, ponieważ był on generowany w pełni automatycznie i nie poddany procesowi przeglądu i poprawy przez człowieka

Moim celem w wypuszczaniu tej wersji modelu było sprawdzenie i pokazanie, jak przy tak prosty sposobie przygotowania instrukcji model LLaMa-1 7B będzie sobie radził z językiem polskim. Jak widać radzi sobie dosyć kiepsko. Możliwe że bawiąc się promptami da się troche z niego jeszcze wycisnąć, ale super wyników bym się nie spodziewał.

Super, dziękuję za informację

Sign up or log in to comment