Spaces:
Running
Running
Download examples.js from Bayanat-Labs/arabic-normalizer: direct link, hf CLI and curl.
- Browser
- Download file 4.05 kB
-
https://huggingface.co/spaces/Bayanat-Labs/arabic-normalizer/resolve/main/examples.js
- Command line
-
hf download hf://spaces/Bayanat-Labs/arabic-normalizer/examples.js
-
curl -L -o examples.js https://huggingface.co/spaces/Bayanat-Labs/arabic-normalizer/resolve/main/examples.js
4.05 kB
| // Generated by web/build.mjs from the arabic-normalize conformance fixtures. | |
| // Synthetic examples written by Bayanat Labs; CC BY 4.0. Do not edit. | |
| export const EXAMPLES = [ | |
| { | |
| "id": "worked", | |
| "policy_id": "bayanat-norm-v1", | |
| "input": "إِلَى المَدْرَسَةِ الجَدِيدَةِ ١٢٣", | |
| "note_en": "The worked example of the README: hamza alef and alef maqsura folded (lossy, logged), harakat removed, digits to ASCII, taa marbuta kept and flagged.", | |
| "note_ar": "المثال المشروح في ملف README: تصبح الألف المهموزة ألفًا مجردة، والألف المقصورة ياءً (تغييران فاقدان للمعلومات ومسجَّلان)، وتُحذف الحركات، وتتحول الأرقام المشرقية ١٢٣ إلى 123، وتبقى التاء المربوطة مع تنبيه." | |
| }, | |
| { | |
| "id": "dev-015", | |
| "policy_id": "bayanat-norm-v1", | |
| "input": "إِنَّ أَنَّ", | |
| "note_en": "Two different words (inna, anna) become identical: this is why alef_variants.map is lossy.", | |
| "note_ar": "كلمتان مختلفتان (إنّ وأنّ) تصبحان متطابقتين؛ ولهذا يُعد توحيد الألف تغييرًا فاقدًا للمعلومات." | |
| }, | |
| { | |
| "id": "dev-017", | |
| "policy_id": "bayanat-norm-v1", | |
| "input": "على", | |
| "note_en": "The preposition 'ala becomes identical to the name Ali: alef_maqsura.to_yeh is lossy.", | |
| "note_ar": "حرف الجر «على» يصبح مطابقًا للاسم «علي»؛ ولهذا يُعد التحويل فاقدًا للمعلومات." | |
| }, | |
| { | |
| "id": "dev-034", | |
| "policy_id": "bayanat-norm-v1", | |
| "input": "ﻻ", | |
| "note_en": "The lam-alef ligature becomes two letters; both map back to the single source code point.", | |
| "note_ar": "يتحول حرف لام ألف المركب إلى حرفين، ويشير كلاهما إلى المحرف الأصلي الواحد." | |
| }, | |
| { | |
| "id": "dev-042", | |
| "policy_id": "bayanat-norm-v1", | |
| "input": "میخواهم", | |
| "note_en": "A Persian ZWNJ between two dual-joining letters is meaningful and is kept.", | |
| "note_ar": "يبقى الفاصل غير الواصل في الفارسية بين حرفين يتصلان من الجهتين، لأن له أثرًا في الكتابة." | |
| }, | |
| { | |
| "id": "dev-039", | |
| "policy_id": "bayanat-norm-v1", | |
| "input": "النبي ﷺ", | |
| "note_en": "U+FDFA is kept as one code point and flagged; full NFKC would expand it to four words.", | |
| "note_ar": "يبقى الرمز ﷺ محرفًا واحدًا مع علامة تنبيه؛ أما NFKC الكامل فيفكه إلى أربع كلمات." | |
| }, | |
| { | |
| "id": "acc-001", | |
| "policy_id": "bayanat-norm-v1", | |
| "input": "عائلة 👨👩👧 سعيدة", | |
| "note_en": "ZWJs inside an emoji ZWJ sequence are meaningful and kept.", | |
| "note_ar": "يبقى الواصل الصفري داخل تسلسل الرموز التعبيرية لأنه جزء منه." | |
| }, | |
| { | |
| "id": "dev-050", | |
| "policy_id": "asr-eval-v1", | |
| "input": "الساعة ٣:٣٠", | |
| "note_en": "asr-eval: LRM removed, digits to ASCII, the colon becomes a space, taa marbuta folded.", | |
| "note_ar": "تُحذف علامة الاتجاه، وتتحول الأرقام، وتصبح النقطتان مسافة، وتتحول التاء المربوطة إلى هاء." | |
| }, | |
| { | |
| "id": "dev-060", | |
| "policy_id": "asr-eval-v1", | |
| "input": "ٱلْكِتَٰبُ", | |
| "note_en": "Uthmani-style spelling: removing the dagger alef gives the consonantal skeleton, not the modern spelling with a full alef.", | |
| "note_ar": "في الرسم العثماني يؤدي حذف الألف الخنجرية إلى الهيكل الحرفي دون ألف، لا إلى الرسم الحديث بالألف." | |
| }, | |
| { | |
| "id": "acc-010", | |
| "policy_id": "bayanat-norm-v1", | |
| "input": "نص\ud800نص", | |
| "note_en": "A lone surrogate and a noncharacter are dropped with their reasons.", | |
| "note_ar": "يُحذف بديل منفرد ومحرف غير صالح، ويُسجَّل سبب كل منهما." | |
| } | |
| ]; | |