Download tests/test_rules.py from sapinsapin/wikalid: direct link, hf CLI and curl.
- Browser
- Download file 2.54 kB
-
https://huggingface.co/sapinsapin/wikalid/resolve/main/tests/test_rules.py
- Command line
-
hf download hf://sapinsapin/wikalid/tests/test_rules.py
-
curl -L -o test_rules.py https://huggingface.co/sapinsapin/wikalid/resolve/main/tests/test_rules.py
2.54 kB
| import sys | |
| from wikalid import rules | |
| AKL_POS = ["Gusto ko ro maeamig nga tubi, owa ako't kwarta.", "Ro uwa gatan-aw sa anang ginhalinan hay indi makaabut sa anang ginapaeangpan.", "Hin-uno ka gapanaw, ro baeay mo hay siin?", "Mayad-ayad nga agahon, ro ngaean ko hay Maria.", "Ro ngaean ko si Tom.", "Ro banwa hay ginabug-usan it mga barangay ag ro eugta hay mayad.", "Ro Altavas hay sangka banwa sa probinsya it Aklan.", "Guinakalipay ko ro pakipagkita kimo, imaw ro ginsiling ni sanda eon.", "Saeamat sa imo, eon ako maeakat ag imaw ro nagpauna."] | |
| SGD_POS = ["An Alegria usa ka lungsod nan Surigao del Norte sanan may gilapdon ini na 65 ka kilometro kwadrado.", "Haman ka paingon sija sanan oman an ginhimo nan lungsod?", "Gitudlo-an ini nan 86 na area code, sanan pinaka-ulahi na sensus."] | |
| NEG = ["Ang bata ay naglalaro sa labas kasama ang kanyang mga kaibigan.", "Gusto ko nga mokaon ug saging kay gutom na ko.", "Ang akon mga kaibigan nagapanguli na sa balay kag nagakaon.", | |
| "Nagpuli kami sa balay kay mabaskog ang ulan.", "I think it is a good idea to go to the market today.", "Hay naku, ang hirap talaga ng buhay ngayon.", "Ya mira yo con el mujer ta anda na mercado.", | |
| "Si Juan ay nasa bahay nan tawag nila siya.", "Kon indi ka magtinguha, indi ka makaabot sa imo handum.", "It is what it is, ra ra ra", "Mayad nga aga sa inyo tanan.", # 'mayad'/'ra' alone: weak markers only -> must not fire | |
| "Dili ko kahibalo kung asa na siya karon.", "An bata nag-uli na ha balay han iya amay.", "Si Rani ay nagtatanim ng kamatis sa bakuran.", "Nahaharap sa kasong paglabag sa RA 9165 ang RO at ang taga-RO ay hay HAY RA RO nan SANAN."] | |
| def test_akl_positive(): | |
| for t in AKL_POS: d = rules.detect(t); assert d and d["sub"] == "akl", (t, rules.score(t)) | |
| def test_sgd_positive(): | |
| for t in SGD_POS: d = rules.detect(t); assert d and d["sub"] == "sgd", (t, rules.score(t)) | |
| def test_negative_controls(): | |
| for t in NEG: assert rules.detect(t) is None, (t, rules.score(t)) | |
| def test_apply_only_overrides_visayan(): | |
| base = {"label": "hil", "frame_label": "hil", "conf": 0.9, "abstain": False, "label_set": ["hil"]} | |
| assert rules.apply(base, AKL_POS[1])["label"] == "oth" and rules.apply(base, AKL_POS[1])["rule"]["sub"] == "akl" | |
| assert rules.apply(dict(base, label="eng"), AKL_POS[1])["label"] == "eng" # never overturns eng/spa/ind... | |
| assert rules.apply(base, NEG[1])["label"] == "hil" | |
| def test_needs_two_markers(): | |
| assert rules.detect("Ro") is None and rules.detect("ag it ra") is None | |