metadata
license: apache-2.0
language:
- vi
metrics:
- sacrebleu
library_name: transformers
tags:
- code
model-index:
- name: spell-correction
results:
- task:
type: spell-correction
dataset:
name: eval_internal
type: eval_internal
metrics:
- name: sacrebleu
type: sacrebleu
value: 21.926
- name: train_loss
type: train_loss
value: 0.03509
- name: val_loss
type: val_loss
value: 0.1414
All the details in training on report.pdf.
from transformers import pipeline
corrector = pipeline("text2text-generation", model="minhbui/spell_correction", device=0)
# Example
MAX_LENGTH = 512
# Define the text samples
texts = [
"côn viec kin doanh thì rất kho khan nên toi quyết dinh chuyển sang nghề khac ",
"toi dang là sinh diên nam hai ở truong đạ hoc khoa jọc tự nhiên , trogn năm ke tiep toi sẽ chọn chuyen nganh về trí tue nhana tạo",
"Tôi đang học AI ở trun tam AI viet nam ",
"Nhưng sức huỷ divt của cơn bão mitch vẫn chưa thấm vào đâu lsovớithảm hoạ tại Bangladesh ăm 1970 ",
"Lần này anh Phươngqyết xếp hàng mua bằng được 1 chiếc",
"một số chuyen gia tài chính ngâSn hànG của Việt Nam cũng chung quan điểmnày",
"Cac so liệu cho thay ngươi dân viet nam đang sống trong 1 cuôc sóng không duojc nhu mong đọi",
"Nefn kinh té thé giới đang đúng trươc nguyen co của mọt cuoc suy thoai",
"Khong phai tất ca nhưng gi chung ta thấy dideu là sụ that",
"chinh phủ luôn cố găng het suc để naggna cao chat luong nền giáo duc =cua nuoc nhà",
"nèn kinh te thé giới đang đứng trươc nguy co của mọt cuoc suy thoai",
"kinh tế viet nam dang dứng truoc 1 thoi ky đổi mơi chưa tung có tienf lệ trong lịch sử"
]
# Batch prediction
predictions = corrector(texts, max_length=MAX_LENGTH)
# Print predictions
for text, pred in zip(texts, predictions):
print("- " + pred['generated_text'])