Hugging Face's logo

Spaces:
xu-song
/
tokenizer-arena
Running

App Files Community
1
tokenizer-arena
File size: 5,325 Bytes 
a4208a2
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
 
[
  {
    "text": "با رایانامه ارسال کنیداین را در وبلاگ بنویسید!‏در Twitter به اشتراک بگذارید‏در Facebook به اشتراک بگذارید‏اشتراک‌گذاری در Pinterest",
    "decoded_text": "با رایانامه ارسال کنیداین را در وبلاگ بنویسید! در Twitter به اشتراک بگذارید در Facebook به اشتراک بگذارید اشتراک گذاری در Pinterest",
    "diff": [
      "replace   text[46:47] --> decoded_text[46:47] '\\u200f' --> ' '",
      "replace   text[75:76] --> decoded_text[75:76] '\\u200f' --> ' '",
      "replace   text[105:106] --> decoded_text[105:106] '\\u200f' --> ' '",
      "replace   text[112:113] --> decoded_text[112:113] '\\u200c' --> ' '"
    ],
    "n_oov_chars": 4,
    "oov_ratio": 0.030534351145038167,
    "oov_charset": "[\"‏\", \"‌\"]"
  },
  {
    "text": "برچسب‌ها: شیرینی ها",
    "decoded_text": "برچسب ها: شیرینی ها",
    "diff": [
      "replace   text[5:6] --> decoded_text[5:6] '\\u200c' --> ' '"
    ],
    "n_oov_chars": 1,
    "oov_ratio": 0.05263157894736842,
    "oov_charset": "[\"‌\"]"
  },
  {
    "text": "برچسب‌ها: امریکایی, انجیر, شیرینی ها, کوکی ها",
    "decoded_text": "برچسب ها: امریکایی, انجیر, شیرینی ها, کوکی ها",
    "diff": [
      "replace   text[5:6] --> decoded_text[5:6] '\\u200c' --> ' '"
    ],
    "n_oov_chars": 1,
    "oov_ratio": 0.022222222222222223,
    "oov_charset": "[\"‌\"]"
  },
  {
    "text": "( کره از شیر درست میشه. وقتی کره رو از شیر جدا میکنن باقی مانده شیر میشه باتر میلک . اگر دسترسی به باتر میلک ندارید میتونید خودتون درستش کنید",
    "decoded_text": "( کره از شیر درست میشه. وقتی کره رو از شیر جدا میکنن باقی مانده شیر میشه باتر میلک. اگر دسترسی به باتر میلک ندارید میتونید خودتون درستش کنید",
    "diff": [
      "delete    text[82:83] --> decoded_text[82:82]      ' ' --> ''"
    ],
    "n_oov_chars": 0,
    "oov_ratio": 0.0,
    "oov_charset": "[]"
  },
  {
    "text": "برچسب‌ها: توت فرنگی, کیک ها",
    "decoded_text": "برچسب ها: توت فرنگی, کیک ها",
    "diff": [
      "replace   text[5:6] --> decoded_text[5:6] '\\u200c' --> ' '"
    ],
    "n_oov_chars": 1,
    "oov_ratio": 0.037037037037037035,
    "oov_charset": "[\"‌\"]"
  },
  {
    "text": "برچسب‌ها: انواع سوپ و اش, جو",
    "decoded_text": "برچسب ها: انواع سوپ و اش, جو",
    "diff": [
      "replace   text[5:6] --> decoded_text[5:6] '\\u200c' --> ' '"
    ],
    "n_oov_chars": 1,
    "oov_ratio": 0.03571428571428571,
    "oov_charset": "[\"‌\"]"
  },
  {
    "text": "بادمجانها رو بشورید و سرشون رو برش بدید و داخل بادمجانها رو خالی کنید با هر چیزی که میتونید مثل قاشق بستنی و ..",
    "decoded_text": "بادمجانها رو بشورید و سرشون رو برش بدید و داخل بادمجانها رو خالی کنید با هر چیزی که میتونید مثل قاشق بستنی و..",
    "diff": [
      "delete    text[108:109] --> decoded_text[108:108]      ' ' --> ''"
    ],
    "n_oov_chars": 0,
    "oov_ratio": 0.0,
    "oov_charset": "[]"
  },
  {
    "text": "برچسب‌ها: بادمجان, پیش غذا, دلمه ها, غذاهای ترکی",
    "decoded_text": "برچسب ها: بادمجان, پیش غذا, دلمه ها, غذاهای ترکی",
    "diff": [
      "replace   text[5:6] --> decoded_text[5:6] '\\u200c' --> ' '"
    ],
    "n_oov_chars": 1,
    "oov_ratio": 0.020833333333333332,
    "oov_charset": "[\"‌\"]"
  },
  {
    "text": "برچسب‌ها: شکلات, کیک ها",
    "decoded_text": "برچسب ها: شکلات, کیک ها",
    "diff": [
      "replace   text[5:6] --> decoded_text[5:6] '\\u200c' --> ' '"
    ],
    "n_oov_chars": 1,
    "oov_ratio": 0.043478260869565216,
    "oov_charset": "[\"‌\"]"
  },
  {
    "text": "بعد مقداری نمک اضافه کنید و اب بریزید \" این سوپ با اب مرغ درست میشه اما چون من گیاه خوار هستم به جاش از پودر سبزیجات استفاده کردم .. اینجـــــــــــــــا میتونید دستورش رو ببینید. (روی کلمه اینجا کیک کنید)",
    "decoded_text": "بعد مقداری نمک اضافه کنید و اب بریزید \" این سوپ با اب مرغ درست میشه اما چون من گیاه خوار هستم به جاش از پودر سبزیجات استفاده کردم.. اینجـــــــــــــــا میتونید دستورش رو ببینید. (روی کلمه اینجا کیک کنید)",
    "diff": [
      "delete    text[129:130] --> decoded_text[129:129]      ' ' --> ''"
    ],
    "n_oov_chars": 0,
    "oov_ratio": 0.0,
    "oov_charset": "[]"
  }
]