File size: 1,559 Bytes
6548b72
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
{
  "additional_special_tokens": [
    "__af__",
    "__am__",
    "__ar__",
    "__ast__",
    "__az__",
    "__ba__",
    "__be__",
    "__bg__",
    "__bn__",
    "__br__",
    "__bs__",
    "__ca__",
    "__ceb__",
    "__cs__",
    "__cy__",
    "__da__",
    "__de__",
    "__el__",
    "__en__",
    "__es__",
    "__et__",
    "__fa__",
    "__ff__",
    "__fi__",
    "__fr__",
    "__fy__",
    "__ga__",
    "__gd__",
    "__gl__",
    "__gu__",
    "__ha__",
    "__he__",
    "__hi__",
    "__hr__",
    "__ht__",
    "__hu__",
    "__hy__",
    "__id__",
    "__ig__",
    "__ilo__",
    "__is__",
    "__it__",
    "__ja__",
    "__jv__",
    "__ka__",
    "__kk__",
    "__km__",
    "__kn__",
    "__ko__",
    "__lb__",
    "__lg__",
    "__ln__",
    "__lo__",
    "__lt__",
    "__lv__",
    "__mg__",
    "__mk__",
    "__ml__",
    "__mn__",
    "__mr__",
    "__ms__",
    "__my__",
    "__ne__",
    "__nl__",
    "__no__",
    "__ns__",
    "__oc__",
    "__or__",
    "__pa__",
    "__pl__",
    "__ps__",
    "__pt__",
    "__ro__",
    "__ru__",
    "__sd__",
    "__si__",
    "__sk__",
    "__sl__",
    "__so__",
    "__sq__",
    "__sr__",
    "__ss__",
    "__su__",
    "__sv__",
    "__sw__",
    "__ta__",
    "__th__",
    "__tl__",
    "__tn__",
    "__tr__",
    "__uk__",
    "__ur__",
    "__uz__",
    "__vi__",
    "__wo__",
    "__xh__",
    "__yi__",
    "__yo__",
    "__zh__",
    "__zu__"
  ],
  "bos_token": "<s>",
  "eos_token": "</s>",
  "pad_token": "<pad>",
  "sep_token": "</s>",
  "unk_token": "<unk>"
}