license: mit
language:
- ru
- az
- lez
datasets:
- AlidarAsvarov/lezgi-rus-azer-corpus
base_model: facebook/nllb-200-distilled-600M
metrics:
- bleu
- chrf
Final model for paper "Neural machine translation system for Lezgian, Russian and Azerbaijani languages". To be published soon.
Russian version of Qusar test set was machine translated from Azerbaijani.
| BLEU | All | Bible | Quran | Qusar |
|---|---|---|---|---|
| lez-az | 26.14 | 24.21 | 30.77 | 25.85 |
| az-lez | 22.89 | 20.27 | 27.29 | 23.66 |
| lez-ru | 29.48 | 27.61 | 41.42 | 21.35* |
| ru-lez | 24.25 | 22.10 | 31.78 | 20.31* |
| ru-az | 31.65 | 25.73 | 32.93 | 41.10* |
| az-ru | 33.63 | 28.78 | 36.83 | 40.46* |
| ChrF++ | All | Bible | Quran | Qusar |
|---|---|---|---|---|
| lez2az | 48.62 | 47.17 | 53.95 | 47.02 |
| az2lez | 48.37 | 46.19 | 53.65 | 47.61 |
| lez2ru | 48.74 | 47.76 | 59.33 | 41.85* |
| ru2lez | 49.55 | 47.95 | 57.49 | 45.16* |
| ru2az | 54.97 | 49.46 | 55.50 | 63.62* |
| az2ru | 54.71 | 49.21 | 56.32 | 62.54* |
Random examples of translation from Russian to Lezgian:
| Russian (source) | Lezgian (target) | Comment | | Футбольная ассоциации Англии рассчитывала провести финал кубка на перестроенном стадионе "Уэмбли" | Англиядин футболдин командадик цӀийи кьилелай эцигай "Уэмбли" стадионда кубокдин финал кьиле тухудай фикир кьуна | "Association" translated as "team"| | На одиннадцатый день рождения Гарри узнаёт, что является волшебником, и ему уготовано место в школе волшебства "Хогвартс" | ЦӀуд лагьай юкъуз Гарриди вич суьгьуьрчи тирди винел акъудна ва адал "Хогварц" суьгьуьрчивилин мектебда чка гьазурна. | "On eleven's bithday" translated as "On tenth day" | | В 1960-х годах Советский Союз развивал стратегические ракетные вооружения, в то же время США делали ставку на стратегическую авиацию. | 1960-йисара СССР-ди стратегиядин ракетдин яракьар вилик тухвана, гьакӀни АСШ-ди стратегиядин авиациядин хиве кьунай. | |