tokenizer-arena / stats /compression_rate /ClassCat.gpt2-base-spanish @ cc100.ko.diff.json
xu-song's picture
add compression_rate details
a4208a2
[
{
"text": "+ HOME > 라이브스코어",
"decoded_text": "+ home > 라이브스코어",
"diff": [
"replace text[2:6] --> decoded_text[2:6] 'HOME' --> 'home'"
],
"n_oov_chars": 4,
"oov_ratio": 0.26666666666666666,
"oov_charset": "[\"H\", \"O\", \"M\", \"E\"]"
},
{
"text": "조시도널슨의 유산 프랭클린 주소 바레토(22)는 황금의제국카지노 4타수3안타(2루타 홈런) 3타점(.246 .270 .508). 하지만 아직은 트레이드 당시의 기대치를 보여주지 못하고 있다.",
"decoded_text": "조시도널슨의 유산 프랭클린 주소 바레토(22)는 황금의제국카지노 4타수3안타(2루타 홈런) 3타점(.246.270.508). 하지만 아직은 트레이드 당시의 기대치를 보여주지 못하고 있다.",
"diff": [
"delete text[59:60] --> decoded_text[59:59] ' ' --> ''",
"delete text[64:65] --> decoded_text[63:63] ' ' --> ''"
],
"n_oov_chars": 0,
"oov_ratio": 0.0,
"oov_charset": "[]"
},
{
"text": "여기서승리한 2팀이 준결승에 오른다. 결국 A, B조 1위는 12강-4강-결승으로 3경기를 치르지만, C, D, 황금의제국카지노 E, F조 1위는 주소 12강-6강-4강-결승으로 4경기를 해야 한다.",
"decoded_text": "여기서승리한 2팀이 준결승에 오른다. 결국 a, b조 1위는 12강-4강-결승으로 3경기를 치르지만, c, d, 황금의제국카지노 e, f조 1위는 주소 12강-6강-4강-결승으로 4경기를 해야 한다.",
"diff": [
"replace text[24:25] --> decoded_text[24:25] 'A' --> 'a'",
"replace text[27:28] --> decoded_text[27:28] 'B' --> 'b'",
"replace text[57:58] --> decoded_text[57:58] 'C' --> 'c'",
"replace text[60:61] --> decoded_text[60:61] 'D' --> 'd'",
"replace text[72:73] --> decoded_text[72:73] 'E' --> 'e'",
"replace text[75:76] --> decoded_text[75:76] 'F' --> 'f'"
],
"n_oov_chars": 6,
"oov_ratio": 0.05405405405405406,
"oov_charset": "[\"A\", \"B\", \"C\", \"D\", \"E\", \"F\"]"
},
{
"text": "알더베이럴트는맨유의 수비를 보강해줄 능력이 충분하다. 지난 황금의제국카지노 2014년부터 사우샘프턴, 토트넘을 거치며 잉글랜드 주소 프리미어리그(EPL)에서 폭넓은 경험을 쌓았다.",
"decoded_text": "알더베이럴트는맨유의 수비를 보강해줄 능력이 충분하다. 지난 황금의제국카지노 2014년부터 사우샘프턴, 토트넘을 거치며 잉글랜드 주소 프리미어리그(epl)에서 폭넓은 경험을 쌓았다.",
"diff": [
"replace text[81:84] --> decoded_text[81:84] 'EPL' --> 'epl'"
],
"n_oov_chars": 3,
"oov_ratio": 0.03,
"oov_charset": "[\"E\", \"P\", \"L\"]"
},
{
"text": "민준이형은잘 모르겠다. 준호도 같은 시기에 드라마를 주소 해서 못 봤을 황금의제국카지노 것 같고, 닉쿤형도 화성(tvN ‘갈릴레오’)에 다녀오고 해외 스케줄이 많아서 보지는 못 했을 것이다.”",
"decoded_text": "민준이형은잘 모르겠다. 준호도 같은 시기에 드라마를 주소 해서 못 봤을 황금의제국카지노 것 같고, 닉쿤형도 화성(tvn ‘갈릴레오’)에 다녀오고 해외 스케줄이 많아서 보지는 못 했을 것이다.”",
"diff": [
"replace text[65:66] --> decoded_text[65:66] 'N' --> 'n'"
],
"n_oov_chars": 1,
"oov_ratio": 0.009345794392523364,
"oov_charset": "[\"N\"]"
},
{
"text": "황아름은2009년 야마하 레이디스 오픈에서 생애 첫 JLPGA 투어 황금의제국카지노 우승을 차지했다. 이후 좀처럼 승전보를 전하지 못한 그는 무려 주소 9년 4개월 만에 정상에 등극했다.",
"decoded_text": "황아름은2009년 야마하 레이디스 오픈에서 생애 첫 jlpga 투어 황금의제국카지노 우승을 차지했다. 이후 좀처럼 승전보를 전하지 못한 그는 무려 주소 9년 4개월 만에 정상에 등극했다.",
"diff": [
"replace text[29:34] --> decoded_text[29:34] 'JLPGA' --> 'jlpga'"
],
"n_oov_chars": 5,
"oov_ratio": 0.04807692307692308,
"oov_charset": "[\"J\", \"L\", \"P\", \"G\", \"A\"]"
},
{
"text": "-이번AG에서 두 주소 선수는 어떤 황금의제국카지노 그림을 그리고 있나요.",
"decoded_text": "-이번ag에서 두 주소 선수는 어떤 황금의제국카지노 그림을 그리고 있나요.",
"diff": [
"replace text[3:5] --> decoded_text[3:5] 'AG' --> 'ag'"
],
"n_oov_chars": 2,
"oov_ratio": 0.04878048780487805,
"oov_charset": "[\"A\", \"G\"]"
},
{
"text": "1위를할 경우 대진표와 객관적인 전력으로 황금의제국카지노 볼 때 6강 PO에서 일본, 4강에서 최강 주소 이란을 연달아 만날 가능성이 높다. 한 마디로 '최악'이다.",
"decoded_text": "1위를할 경우 대진표와 객관적인 전력으로 황금의제국카지노 볼 때 6강 po에서 일본, 4강에서 최강 주소 이란을 연달아 만날 가능성이 높다. 한 마디로 '최악'이다.",
"diff": [
"replace text[39:41] --> decoded_text[39:41] 'PO' --> 'po'"
],
"n_oov_chars": 2,
"oov_ratio": 0.021739130434782608,
"oov_charset": "[\"P\", \"O\"]"
},
{
"text": "15개국이출전하기로 했던 아시안게임 황금의제국카지노 남자농구에서 필리핀은 이란, 시리아, 아랍에미리트(UAE)와 함께 B조에 편성돼 있었다.",
"decoded_text": "15개국이출전하기로 했던 아시안게임 황금의제국카지노 남자농구에서 필리핀은 이란, 시리아, 아랍에미리트(uae)와 함께 b조에 편성돼 있었다.",
"diff": [
"replace text[57:60] --> decoded_text[57:60] 'UAE' --> 'uae'",
"replace text[66:67] --> decoded_text[66:67] 'B' --> 'b'"
],
"n_oov_chars": 4,
"oov_ratio": 0.05128205128205128,
"oov_charset": "[\"U\", \"A\", \"E\", \"B\"]"
},
{
"text": "한국은인도네시아, 태국, 몽골과 A조에 편성됐다. 일본, 카타르, 대만, 홍콩이 C조에 포진하고 중국, 카자흐스탄, 팔레스타인이 D조에 자리잡았으나 팔레스타인도 기권함에 황금의제국카지노 따라 모두 13개국만 출전하게 됐다.",
"decoded_text": "한국은인도네시아, 태국, 몽골과 a조에 편성됐다. 일본, 카타르, 대만, 홍콩이 c조에 포진하고 중국, 카자흐스탄, 팔레스타인이 d조에 자리잡았으나 팔레스타인도 기권함에 황금의제국카지노 따라 모두 13개국만 출전하게 됐다.",
"diff": [
"replace text[18:19] --> decoded_text[18:19] 'A' --> 'a'",
"replace text[45:46] --> decoded_text[45:46] 'C' --> 'c'",
"replace text[72:73] --> decoded_text[72:73] 'D' --> 'd'"
],
"n_oov_chars": 3,
"oov_ratio": 0.024193548387096774,
"oov_charset": "[\"A\", \"C\", \"D\"]"
}
]