Spaces:
Sleeping
Sleeping
Update app.py
Browse files
app.py
CHANGED
|
@@ -4,37 +4,49 @@ from difflib import Differ
|
|
| 4 |
from transformers import pipeline
|
| 5 |
|
| 6 |
model_id = "yassin-hussein/Five-Epoch-24-Aug-Central-Kurdish-Spell-Checker"
|
| 7 |
-
# spell_corrector = pipeline("text2text-generation", model=model_id, max_length=1024)
|
| 8 |
|
|
|
|
| 9 |
hf_token = os.getenv("HF_TOKEN")
|
| 10 |
-
|
| 11 |
-
|
| 12 |
-
|
|
|
|
|
|
|
|
|
|
| 13 |
|
| 14 |
def correct_spell(text, num_sequence=3):
|
| 15 |
d = Differ()
|
| 16 |
if text is None:
|
| 17 |
text = ""
|
| 18 |
-
#
|
| 19 |
-
|
| 20 |
-
|
| 21 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 22 |
|
| 23 |
return [
|
| 24 |
-
(
|
| 25 |
-
for
|
| 26 |
-
],
|
| 27 |
|
| 28 |
|
| 29 |
demo = gr.Interface(
|
| 30 |
-
correct_spell,
|
| 31 |
-
[
|
| 32 |
gr.Textbox(
|
| 33 |
label="Input text",
|
| 34 |
info="Initial text to be corrected",
|
| 35 |
lines=3,
|
| 36 |
value="كئشهي نووصين",
|
| 37 |
-
rtl=True
|
| 38 |
),
|
| 39 |
gr.Slider(
|
| 40 |
label="Number of Sequences",
|
|
@@ -42,9 +54,8 @@ demo = gr.Interface(
|
|
| 42 |
maximum=5,
|
| 43 |
step=1,
|
| 44 |
value=3,
|
| 45 |
-
info="Number of different sequences to be returned"
|
| 46 |
-
)
|
| 47 |
-
|
| 48 |
],
|
| 49 |
outputs=[
|
| 50 |
gr.HighlightedText(
|
|
@@ -53,32 +64,29 @@ demo = gr.Interface(
|
|
| 53 |
show_legend=True,
|
| 54 |
color_map={"-": "pink", "+": "green"},
|
| 55 |
container=True,
|
| 56 |
-
elem_id="kurdi"
|
| 57 |
),
|
| 58 |
-
gr.Textbox(label="Corrected Text", rtl=True, container=True)
|
| 59 |
],
|
| 60 |
-
|
| 61 |
examples=[
|
| 62 |
-
["شة وئكي قة نديل هئناية كريان دلة ي ماط و ديل"],
|
| 63 |
-
["برياري مي دةنكي ذؤرينةي رةهاية"],
|
| 64 |
-
["بة هي خشة ويصتي نيوانمانة وة چة ندينجار باوكي لة مالة وة دة ريكردووة"],
|
| 65 |
-
["هه روه ها دوو كاربه ده ستي شيعه ش له مردن رظگاريان بوو پاش اه وه ي روظي دووشه ممه له ده وروبه ري به غدا هه ولي كوش تنيان درا"],
|
| 66 |
-
["حکومەتلە گفتوگۆحانی پەرلەماندا لەسەربودجەی نوێ ڕایگەیاند کە لە دەنگدانلەسەر بودجە بەردەوام دەبێت"],
|
| 67 |
-
["ژنەڤ کاندغدێکی کورد نەشتەرگەری بۆکەا"],
|
| 68 |
-
["فەستبخەرکرانی سێ هاووڵاتی لە شاری بۆکانلە لاین هێزە ئەمنییکەانەوە"],
|
| 69 |
-
["ئەم وێنجانەی وخارەوەش چەند ێونەیەکی دەزپێرکاوی مۆبایلەکەن"],
|
| 70 |
-
["خۆگزە توانیبام ژیان لە دیداری یەکەی ژاچگرێ بدەم"],
|
| 71 |
-
["هەرفەرمانبەرێک بەناشچایستە پلەی نوەزیفیوەرگرتبێتلێیدەسەرنێتەەو"],
|
| 72 |
-
["ماوەیەکەدەست ەب ئاامدەکسری کرا٦وە بۆ بەڕێوەچوونی ەششەمین فیستیڤاڵینێودەوڵەتیی هەولێرب ۆ شانۆ"],
|
| 73 |
-
["ەڵم ئارەزوومە کە فیلمێک لە سەرحۆریەکانی ێجەریای نێوچیڕۆکەکانیشەوان عەرەبیەوە بەرخهەم بهێنم"],
|
| 74 |
-
["پارەی ئەلکتترۆنیکی هیان راوی دیجیتاڵ جۆرە راوێکە کە تەنیا بە شێوەی ئەلیکترۆنیکی لەبەردەستەایە"]
|
| 75 |
],
|
| 76 |
title="Spell Check",
|
| 77 |
-
# description="This is made as a fun side project, it's not to be relied on for production.",
|
| 78 |
css="""
|
| 79 |
-
#kurdi {
|
| 80 |
-
text-align: right;
|
| 81 |
-
}
|
| 82 |
""",
|
| 83 |
theme=gr.themes.Base(
|
| 84 |
primary_hue="pink",
|
|
@@ -87,10 +95,14 @@ demo = gr.Interface(
|
|
| 87 |
spacing_size=gr.themes.sizes.spacing_lg,
|
| 88 |
radius_size=gr.themes.sizes.radius_lg,
|
| 89 |
font=gr.themes.GoogleFont("Noto Sans"),
|
| 90 |
-
|
| 91 |
),
|
| 92 |
examples_per_page=20,
|
| 93 |
-
|
|
|
|
|
|
|
| 94 |
)
|
|
|
|
| 95 |
if __name__ == "__main__":
|
| 96 |
-
|
|
|
|
|
|
|
|
|
| 4 |
from transformers import pipeline
|
| 5 |
|
| 6 |
model_id = "yassin-hussein/Five-Epoch-24-Aug-Central-Kurdish-Spell-Checker"
|
|
|
|
| 7 |
|
| 8 |
+
# Load private model with token from Space secrets
|
| 9 |
hf_token = os.getenv("HF_TOKEN")
|
| 10 |
+
spell_corrector = pipeline(
|
| 11 |
+
"text2text-generation",
|
| 12 |
+
model=model_id,
|
| 13 |
+
max_length=1024,
|
| 14 |
+
token=hf_token,
|
| 15 |
+
)
|
| 16 |
|
| 17 |
def correct_spell(text, num_sequence=3):
|
| 18 |
d = Differ()
|
| 19 |
if text is None:
|
| 20 |
text = ""
|
| 21 |
+
# Guard against None from UI/examples
|
| 22 |
+
if num_sequence is None:
|
| 23 |
+
num_sequence = 3
|
| 24 |
+
# Ensure num_return_sequences <= num_beams
|
| 25 |
+
num_sequence = int(max(1, min(5, num_sequence)))
|
| 26 |
+
|
| 27 |
+
outputs = spell_corrector(
|
| 28 |
+
text,
|
| 29 |
+
num_beams=5,
|
| 30 |
+
num_return_sequences=num_sequence
|
| 31 |
+
)
|
| 32 |
+
first_suggestion = outputs[0]["generated_text"]
|
| 33 |
+
all_suggestions = "\n\n".join([o["generated_text"] for o in outputs])
|
| 34 |
|
| 35 |
return [
|
| 36 |
+
(tok[2:], tok[0] if tok[0] != " " else None)
|
| 37 |
+
for tok in d.compare(text, first_suggestion)
|
| 38 |
+
], all_suggestions
|
| 39 |
|
| 40 |
|
| 41 |
demo = gr.Interface(
|
| 42 |
+
fn=correct_spell,
|
| 43 |
+
inputs=[
|
| 44 |
gr.Textbox(
|
| 45 |
label="Input text",
|
| 46 |
info="Initial text to be corrected",
|
| 47 |
lines=3,
|
| 48 |
value="كئشهي نووصين",
|
| 49 |
+
rtl=True,
|
| 50 |
),
|
| 51 |
gr.Slider(
|
| 52 |
label="Number of Sequences",
|
|
|
|
| 54 |
maximum=5,
|
| 55 |
step=1,
|
| 56 |
value=3,
|
| 57 |
+
info="Number of different sequences to be returned",
|
| 58 |
+
),
|
|
|
|
| 59 |
],
|
| 60 |
outputs=[
|
| 61 |
gr.HighlightedText(
|
|
|
|
| 64 |
show_legend=True,
|
| 65 |
color_map={"-": "pink", "+": "green"},
|
| 66 |
container=True,
|
| 67 |
+
elem_id="kurdi",
|
| 68 |
),
|
| 69 |
+
gr.Textbox(label="Corrected Text", rtl=True, container=True),
|
| 70 |
],
|
| 71 |
+
# Each example must include BOTH inputs: [text, slider_value]
|
| 72 |
examples=[
|
| 73 |
+
["شة وئكي قة نديل هئناية كريان دلة ي ماط و ديل", 3],
|
| 74 |
+
["برياري مي دةنكي ذؤرينةي رةهاية", 3],
|
| 75 |
+
["بة هي خشة ويصتي نيوانمانة وة چة ندينجار باوكي لة مالة وة دة ريكردووة", 3],
|
| 76 |
+
["هه روه ها دوو كاربه ده ستي شيعه ش له مردن رظگاريان بوو پاش اه وه ي روظي دووشه ممه له ده وروبه ري به غدا هه ولي كوش تنيان درا", 3],
|
| 77 |
+
["حکومەتلە گفتوگۆحانی پەرلەماندا لەسەربودجەی نوێ ڕایگەیاند کە لە دەنگدانلەسەر بودجە بەردەوام دەبێت", 3],
|
| 78 |
+
["ژنەڤ کاندغدێکی کورد نەشتەرگەری بۆکەا", 3],
|
| 79 |
+
["فەستبخەرکرانی سێ هاووڵاتی لە شاری بۆکانلە لاین هێزە ئەمنییکەانەوە", 3],
|
| 80 |
+
["ئەم وێنجانەی وخارەوەش چەند ێونەیەکی دەزپێرکاوی مۆبایلەکەن", 3],
|
| 81 |
+
["خۆگزە توانیبام ژیان لە دیداری یەکەی ژاچگرێ بدەم", 3],
|
| 82 |
+
["هەرفەرمانبەرێک بەناشچایستە پلەی نوەزیفیوەرگرتبێتلێیدەسەرنێتەەو", 3],
|
| 83 |
+
["ماوەیەکەدەست ەب ئاامدەکسری کرا٦وە بۆ بەڕێوەچوونی ەششەمین فیستیڤاڵینێودەوڵەتیی هەولێرب ۆ شانۆ", 3],
|
| 84 |
+
["ەڵم ئارەزوومە کە فیلمێک لە سەرحۆریەکانی ێجەریای نێوچیڕۆکەکانیشەوان عەرەبیەوە بەرخهەم بهێنم", 3],
|
| 85 |
+
["پارەی ئەلکتترۆنیکی هیان راوی دیجیتاڵ جۆرە راوێکە کە تەنیا بە شێوەی ئەلیکترۆنیکی لەبەردەستەایە", 3],
|
| 86 |
],
|
| 87 |
title="Spell Check",
|
|
|
|
| 88 |
css="""
|
| 89 |
+
#kurdi { text-align: right; }
|
|
|
|
|
|
|
| 90 |
""",
|
| 91 |
theme=gr.themes.Base(
|
| 92 |
primary_hue="pink",
|
|
|
|
| 95 |
spacing_size=gr.themes.sizes.spacing_lg,
|
| 96 |
radius_size=gr.themes.sizes.radius_lg,
|
| 97 |
font=gr.themes.GoogleFont("Noto Sans"),
|
|
|
|
| 98 |
),
|
| 99 |
examples_per_page=20,
|
| 100 |
+
flagging_mode="auto", # replace deprecated allow_flagging
|
| 101 |
+
# If you prefer skipping example pre-cache entirely, add:
|
| 102 |
+
# cache_examples=False,
|
| 103 |
)
|
| 104 |
+
|
| 105 |
if __name__ == "__main__":
|
| 106 |
+
# If SSR causes issues in your Space, you can disable it like:
|
| 107 |
+
# demo.launch(ssr_mode=False)
|
| 108 |
+
demo.launch()
|