---
license: mit
language:
- ru
- az
- lez
datasets:
- AlidarAsvarov/lezgi-rus-azer-corpus
base_model: facebook/nllb-200-distilled-600M
metrics:
- bleu
- chrf
---
Final model for paper *"Neural machine translation system for Lezgian, Russian and Azerbaijani languages"*. To be published soon.

**Russian version of Qusar test set was machine translated from Azerbaijani.**


| BLEU   | All   | Bible | Quran | Qusar  |
| ------ | ----- | ----- | ----- | -----  |
| lez-az | 26.14 | 24.21 | 30.77 | 25.85  |
| az-lez | 22.89 | 20.27 | 27.29 | 23.66  |
| lez-ru | 29.48 | 27.61 | 41.42 | 21.35* |
| ru-lez | 24.25 | 22.10 | 31.78 | 20.31* |
| ru-az  | 31.65 | 25.73 | 32.93 | 41.10* |
| az-ru  | 33.63 | 28.78 | 36.83 | 40.46* |

| ChrF++ | All   | Bible | Quran | Qusar  |
| ------ | ----- | ----- | ----- | -----  |
| lez2az | 48.62 | 47.17 | 53.95 | 47.02  |
| az2lez | 48.37 | 46.19 | 53.65 | 47.61  |
| lez2ru | 48.74 | 47.76 | 59.33 | 41.85* |
| ru2lez | 49.55 | 47.95 | 57.49 | 45.16* |
| ru2az  | 54.97 | 49.46 | 55.50 | 63.62* |
| az2ru  | 54.71 | 49.21 | 56.32 | 62.54* |


Random examples of translation from Russian to Lezgian:

|                        Russian (source)                                                                                               | Lezgian (target)                                                                                                      | Comment                                            |
|---------------------------------------------------------------------------------------------------------------------------------------|-----------------------------------------------------------------------------------------------------------------------|----------------------------------------------------|
| Футбольная ассоциации Англии рассчитывала провести финал кубка на перестроенном стадионе "Уэмбли"                                     | Англиядин футболдин командадик цӀийи кьилелай эцигай "Уэмбли" стадионда кубокдин финал кьиле тухудай фикир кьуна      | "Association" translated as "team"                 |
| На одиннадцатый день рождения Гарри узнаёт, что является волшебником, и ему уготовано место в школе волшебства "Хогвартс"             | ЦӀуд лагьай юкъуз Гарриди вич суьгьуьрчи тирди винел акъудна ва адал "Хогварц" суьгьуьрчивилин мектебда чка гьазурна. | "On eleven's bithday" translated as "On tenth day" |
| В 1960-х годах Советский Союз развивал стратегические ракетные вооружения, в то же время США делали ставку на стратегическую авиацию. | 1960-йисара СССР-ди стратегиядин ракетдин яракьар вилик тухвана, гьакӀни АСШ-ди стратегиядин авиациядин хиве кьунай.  |                                                    |