pylaia-home-alcar / tokens.txt
starride-teklia's picture
Add language model files (#3)
a5f9ccc verified
raw
history blame contribute delete
324 Bytes
<ctc>
!
&
#
'
(
)
*
+
,
-
.
/
0
1
2
3
4
5
6
7
8
9
:
;
=
?
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
[
]
a
b
c
d
e
f
g
h
i
j
k
l
m
n
o
p
q
r
s
t
u
v
w
x
y
z
|
~
’
©
§
ª
«
¬
¯
°
º
»
¿
À
Â
Ã
Ç
É
Ï
Ü
à
á
â
æ
ç
è
é
ë
ì
í
î
ï
ñ
ú
ù
û
ÿ
ę
ō
œ
ȩ
<unk>
<space>