ukr-models/uk-morph

Model Description

Fine-tuning of XLM-RoBERTa-Uk model on synthetic morphological dataset, returns both UPOS and morphological features (joined by double underscore symbol)

How to Use

Huggingface pipeline way (returns tokens with labels):

from transformers import TokenClassificationPipeline, AutoTokenizer, AutoModelForTokenClassification
tokenizer = AutoTokenizer.from_pretrained('ukr-models/uk-morph')
model = AutoModelForTokenClassification.from_pretrained('ukr-models/uk-morph')
ppln = TokenClassificationPipeline(model=model, tokenizer=tokenizer)
ppln("Могила Тараса Шевченка — місце поховання видатного українського поета Тараса Шевченка в місті Канів (Черкаська область) на Чернечій горі, над яким із 1939 року височіє бронзовий пам'ятник роботи скульптора Матвія Манізера.")

If you wish to get predictions split by words, not by tokens, you may use the following approach (download script get_predictions.py from the repository, it uses package tokenize_uk for splitting)

from transformers import AutoTokenizer, AutoModelForTokenClassification
from get_predictions import get_word_predictions

tokenizer = AutoTokenizer.from_pretrained('ukr-models/uk-morph')
model = AutoModelForTokenClassification.from_pretrained('ukr-models/uk-morph')

get_word_predictions(model, tokenizer, ["Могила Тараса Шевченка — місце поховання видатного українського поета Тараса Шевченка в місті Канів (Черкаська область) на Чернечій горі, над яким із 1939 року височіє бронзовий пам'ятник роботи скульптора Матвія Манізера."])