tokenizer-arena / stats /compression_rate /ClueAI.PromptCLUE-base @ cc100.es.diff.json
xu-song's picture
add compression_rate details
a4208a2
[
{
"text": "el año natural a que correspondan.",
"decoded_text": "el a<unk>o natural a que correspondan.",
"diff": [
"replace text[4:5] --> decoded_text[4:9] 'ñ' --> '<unk>'"
],
"n_oov_chars": 1,
"oov_ratio": 0.029411764705882353,
"oov_charset": "[\"ñ\"]"
},
{
"text": "a la Empresa el 50% del periodo restante en la fecha señalada",
"decoded_text": "a la Empresa el 50% del periodo restante en la fecha se<unk>alada",
"diff": [
"replace text[55:56] --> decoded_text[55:60] 'ñ' --> '<unk>'"
],
"n_oov_chars": 1,
"oov_ratio": 0.01639344262295082,
"oov_charset": "[\"ñ\"]"
},
{
"text": "Os deseamos muchos más éxitos en un futuro y los mejores augurios para los años que están por venir.",
"decoded_text": "Os deseamos muchos más éxitos en un futuro y los mejores augurios para los a<unk>os que están por venir.",
"diff": [
"replace text[76:77] --> decoded_text[76:81] 'ñ' --> '<unk>'"
],
"n_oov_chars": 1,
"oov_ratio": 0.01,
"oov_charset": "[\"ñ\"]"
},
{
"text": "- Mi primer consejo es el deporte, corre, anda, juega al padel, monta en bici…en definitiva…. MUÉVETE. No necesitas más de una o dos horas al día para activarte. Despejarás tu mente.",
"decoded_text": "- Mi primer consejo es el deporte, corre, anda, juega al padel, monta en bici...en definitiva.... MUÉVETE. No necesitas más de una o dos horas al día para activarte. Despejarás tu mente.",
"diff": [
"replace text[77:78] --> decoded_text[77:80] '…' --> '...'",
"replace text[91:92] --> decoded_text[93:96] '…' --> '...'"
],
"n_oov_chars": 2,
"oov_ratio": 0.01098901098901099,
"oov_charset": "[\"…\"]"
},
{
"text": "- Márcate dos o tres objetivos a conseguir. Pueden ser objetivos laborales, conseguir un ascenso o aumentar las ventas de la empresa; deportivos, correr 10 kms o terminar tu primera media maratón; familiares, pasar más tiempo con tus hijos, hermanos, amigos, planificar las próximas vacaciones… etc.",
"decoded_text": "- Márcate dos o tres objetivos a conseguir. Pueden ser objetivos laborales, conseguir un ascenso o aumentar las ventas de la empresa; deportivos, correr 10 kms o terminar tu primera media maratón; familiares, pasar más tiempo con tus hijos, hermanos, amigos, planificar las próximas vacaciones... etc.",
"diff": [
"replace text[293:299] --> decoded_text[293:301] '… etc.' --> '... etc.'"
],
"n_oov_chars": 1,
"oov_ratio": 0.0033444816053511705,
"oov_charset": "[\"…\"]"
},
{
"text": "- Visualiza lo que implica para ti conseguir dichos objetivos, obsérvate llegando al final de esa carrera, lo fabuloso que estás al haber perdido 10 o 15 kg, lo que podrás hacer con el dinero por tu ascenso…. ¡¡¡Imagínalo!!! La imagen mental que estés creando tiene que ser lo más clara posible, como cuando un niño pide determinado juguete y no te acepta las diferentes alternativas que le das (para hacerlo cambiar de idea) porque él tiene muy bien definido que es lo que quiere. La mente tiene poderes ilimitados, si le das las herramientas necesarias para lograr tu propósito, ella trabajará sin obstáculos. Nuestra falta de visión e indecisión suele ser una buena fuente de limitantes.",
"decoded_text": "- Visualiza lo que implica para ti conseguir dichos objetivos, obsérvate llegando al final de esa carrera, lo fabuloso que estás al haber perdido 10 o 15 kg, lo que podrás hacer con el dinero por tu ascenso.... <unk>Imagínalo!!! La imagen mental que estés creando tiene que ser lo más clara posible, como cuando un ni<unk>o pide determinado juguete y no te acepta las diferentes alternativas que le das (para hacerlo cambiar de idea) porque él tiene muy bien definido que es lo que quiere. La mente tiene poderes ilimitados, si le das las herramientas necesarias para lograr tu propósito, ella trabajará sin obstáculos. Nuestra falta de visión e indecisión suele ser una buena fuente de limitantes.",
"diff": [
"delete text[206:207] --> decoded_text[206:206] '…' --> ''",
"replace text[208:212] --> decoded_text[207:216] ' ¡¡¡' --> '... <unk>'",
"replace text[313:314] --> decoded_text[317:322] 'ñ' --> '<unk>'"
],
"n_oov_chars": 5,
"oov_ratio": 0.007246376811594203,
"oov_charset": "[\"…\", \"¡\", \"ñ\"]"
},
{
"text": "- Escribe, no importa el soporte (papel, smartphone, tablet, la palma de la mano…), que cambios debes hacer en tu vida diaria para conseguir estas metas. No olvides que deberían ser metas a corto-medio plazo, metas reales y factibles…… Acabas de formalizar “un contrato” contigo mismo.",
"decoded_text": "- Escribe, no importa el soporte (papel, smartphone, tablet, la palma de la mano...), que cambios debes hacer en tu vida diaria para conseguir estas metas. No olvides que deberían ser metas a corto-medio plazo, metas reales y factibles...... Acabas de formalizar “un contrato” contigo mismo.",
"diff": [
"replace text[80:81] --> decoded_text[80:83] '…' --> '...'",
"replace text[233:235] --> decoded_text[235:241] '……' --> '......'"
],
"n_oov_chars": 3,
"oov_ratio": 0.010526315789473684,
"oov_charset": "[\"…\"]"
},
{
"text": "Ponerse metas es estar vivo, es la vida, todo es llegar, empezar, acabar, caer y levantarse. No caigas en tu sofá, no limites tu tiempo a ver la tele o estar en el bar…. un día es largo si lo aprovechas.",
"decoded_text": "Ponerse metas es estar vivo, es la vida, todo es llegar, empezar, acabar, caer y levantarse. No caigas en tu sofá, no limites tu tiempo a ver la tele o estar en el bar.... un día es largo si lo aprovechas.",
"diff": [
"replace text[167:168] --> decoded_text[167:170] '…' --> '...'"
],
"n_oov_chars": 1,
"oov_ratio": 0.0049261083743842365,
"oov_charset": "[\"…\"]"
},
{
"text": "Seneca dijo: “no hay viento favorable para el que no sabe dónde ir…”; pon hoy mismo rumbo a tu vida.",
"decoded_text": "Seneca dijo: “no hay viento favorable para el que no sabe dónde ir...”; pon hoy mismo rumbo a tu vida.",
"diff": [
"replace text[66:67] --> decoded_text[66:69] '…' --> '...'"
],
"n_oov_chars": 1,
"oov_ratio": 0.01,
"oov_charset": "[\"…\"]"
},
{
"text": "Es frecuente en estas fechas plantear objetivos para el nuevo año, pero también sucede muchas veces que éstos se olvidan al poco tiempo de haberlos planteado. Para que esto no suceda, dejamos algunas claves para establecer tus propósitos y avanzar hacia ellos, y no dejarlos en el camino a medida que transcurre el 2015.",
"decoded_text": "Es frecuente en estas fechas plantear objetivos para el nuevo a<unk>o, pero también sucede muchas veces que éstos se olvidan al poco tiempo de haberlos planteado. Para que esto no suceda, dejamos algunas claves para establecer tus propósitos y avanzar hacia ellos, y no dejarlos en el camino a medida que transcurre el 2015.",
"diff": [
"replace text[63:64] --> decoded_text[63:68] 'ñ' --> '<unk>'"
],
"n_oov_chars": 1,
"oov_ratio": 0.003125,
"oov_charset": "[\"ñ\"]"
}
]