| --- |
| license: apache-2.0 |
| language: |
| - vi |
| metrics: |
| - sacrebleu |
| library_name: transformers |
| tags: |
| - code |
|
|
| model-index: |
| - name: spell-correction |
| results: |
| - task: |
| type: spell-correction |
| dataset: |
| name: eval_internal |
| type: eval_internal |
| metrics: |
| - name: sacrebleu |
| type: sacrebleu |
| value: 21.926 |
| - name: train_loss |
| type: train_loss |
| value: 0.03509 |
| - name: val_loss |
| type: val_loss |
| value: 0.1414 |
| --- |
| |
| All the details in training on report.pdf. |
|
|
| ``` |
| from transformers import pipeline |
| |
| corrector = pipeline("text2text-generation", model="minhbui/spell_correction", device=0) |
| |
| # Example |
| MAX_LENGTH = 512 |
| |
| # Define the text samples |
| texts = [ |
| "côn viec kin doanh thì rất kho khan nên toi quyết dinh chuyển sang nghề khac ", |
| "toi dang là sinh diên nam hai ở truong đạ hoc khoa jọc tự nhiên , trogn năm ke tiep toi sẽ chọn chuyen nganh về trí tue nhana tạo", |
| "Tôi đang học AI ở trun tam AI viet nam ", |
| "Nhưng sức huỷ divt của cơn bão mitch vẫn chưa thấm vào đâu lsovớithảm hoạ tại Bangladesh ăm 1970 ", |
| "Lần này anh Phươngqyết xếp hàng mua bằng được 1 chiếc", |
| "một số chuyen gia tài chính ngâSn hànG của Việt Nam cũng chung quan điểmnày", |
| "Cac so liệu cho thay ngươi dân viet nam đang sống trong 1 cuôc sóng không duojc nhu mong đọi", |
| "Nefn kinh té thé giới đang đúng trươc nguyen co của mọt cuoc suy thoai", |
| "Khong phai tất ca nhưng gi chung ta thấy dideu là sụ that", |
| "chinh phủ luôn cố găng het suc để naggna cao chat luong nền giáo duc =cua nuoc nhà", |
| "nèn kinh te thé giới đang đứng trươc nguy co của mọt cuoc suy thoai", |
| "kinh tế viet nam dang dứng truoc 1 thoi ky đổi mơi chưa tung có tienf lệ trong lịch sử" |
| ] |
| |
| # Batch prediction |
| predictions = corrector(texts, max_length=MAX_LENGTH) |
| |
| # Print predictions |
| for text, pred in zip(texts, predictions): |
| print("- " + pred['generated_text']) |
| |
| ``` |
