yassin-hussein commited on
Commit
4e44cd8
·
verified ·
1 Parent(s): d80cefe

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +52 -40
app.py CHANGED
@@ -4,37 +4,49 @@ from difflib import Differ
4
  from transformers import pipeline
5
 
6
  model_id = "yassin-hussein/Five-Epoch-24-Aug-Central-Kurdish-Spell-Checker"
7
- # spell_corrector = pipeline("text2text-generation", model=model_id, max_length=1024)
8
 
 
9
  hf_token = os.getenv("HF_TOKEN")
10
-
11
-
12
- spell_corrector = pipeline("text2text-generation", model=model_id, max_length=1024, token=hf_token)
 
 
 
13
 
14
  def correct_spell(text, num_sequence=3):
15
  d = Differ()
16
  if text is None:
17
  text = ""
18
- # corrected = spell_corrector(text, num_return_sequences=3)[0]['generated_text']
19
- corrected = spell_corrector(text, num_beams=5, num_return_sequences=num_sequence)
20
- first_suggestion = corrected[0]['generated_text']
21
- corrected = "\n\n".join([c['generated_text'] for c in corrected])
 
 
 
 
 
 
 
 
 
22
 
23
  return [
24
- (token[2:], token[0] if token[0] != " " else None)
25
- for token in d.compare(text, first_suggestion)
26
- ], corrected
27
 
28
 
29
  demo = gr.Interface(
30
- correct_spell,
31
- [
32
  gr.Textbox(
33
  label="Input text",
34
  info="Initial text to be corrected",
35
  lines=3,
36
  value="كئشهي نووصين",
37
- rtl=True
38
  ),
39
  gr.Slider(
40
  label="Number of Sequences",
@@ -42,9 +54,8 @@ demo = gr.Interface(
42
  maximum=5,
43
  step=1,
44
  value=3,
45
- info="Number of different sequences to be returned"
46
- )
47
-
48
  ],
49
  outputs=[
50
  gr.HighlightedText(
@@ -53,32 +64,29 @@ demo = gr.Interface(
53
  show_legend=True,
54
  color_map={"-": "pink", "+": "green"},
55
  container=True,
56
- elem_id="kurdi"
57
  ),
58
- gr.Textbox(label="Corrected Text", rtl=True, container=True)
59
  ],
60
-
61
  examples=[
62
- ["شة وئكي قة نديل هئناية كريان دلة ي ماط و ديل"],
63
- ["برياري مي دةنكي ذؤرينةي رةهاية"],
64
- ["بة هي خشة ويصتي نيوانمانة وة چة ندينجار باوكي لة مالة وة دة ريكردووة"],
65
- ["هه روه ها دوو كاربه ده ستي شيعه ش له مردن رظگاريان بوو پاش اه وه ي روظي دووشه ممه له ده وروبه ري به غدا هه ولي كوش تنيان درا"],
66
- ["حکومەتلە گفتوگۆحانی پەرلەماندا لەسەربودجەی نوێ ڕایگەیاند کە لە دەنگدانلەسەر بودجە بەردەوام دەبێت"],
67
- ["ژنەڤ کاندغدێکی کورد نەشتەرگەری بۆکەا"],
68
- ["فەستبخەرکرانی سێ هاووڵاتی لە شاری بۆکانلە لاین هێزە ئەمنییکەانەوە"],
69
- ["ئەم وێنجانەی وخارەوەش چەند ێونەیەکی دەزپێرکاوی مۆبایلەکەن"],
70
- ["خۆگزە توانیبام ژیان لە دیداری یەکەی ژاچگرێ بدەم"],
71
- ["هەرفەرمانبەرێک بەناشچایستە پلەی نوەزیفیوەرگرتبێتلێیدەسەرنێتەەو"],
72
- ["ماوەیەکەدەست ەب ئاامدەکسری کرا٦وە بۆ بەڕێوەچوونی ەششەمین فیستیڤاڵینێودەوڵەتیی هەولێرب ۆ شانۆ"],
73
- ["ەڵم ئارەزوومە کە فیلمێک لە سەرحۆریەکانی ێجەریای نێوچیڕۆکەکانیشەوان عەرەبیەوە بەرخهەم بهێنم"],
74
- ["پارەی ئەلکتترۆنیکی هیان راوی دیجیتاڵ جۆرە راوێکە کە تەنیا بە شێوەی ئەلیکترۆنیکی لەبەردەستەایە"]
75
  ],
76
  title="Spell Check",
77
- # description="This is made as a fun side project, it's not to be relied on for production.",
78
  css="""
79
- #kurdi {
80
- text-align: right;
81
- }
82
  """,
83
  theme=gr.themes.Base(
84
  primary_hue="pink",
@@ -87,10 +95,14 @@ demo = gr.Interface(
87
  spacing_size=gr.themes.sizes.spacing_lg,
88
  radius_size=gr.themes.sizes.radius_lg,
89
  font=gr.themes.GoogleFont("Noto Sans"),
90
-
91
  ),
92
  examples_per_page=20,
93
- allow_flagging='auto'
 
 
94
  )
 
95
  if __name__ == "__main__":
96
- demo.launch()
 
 
 
4
  from transformers import pipeline
5
 
6
  model_id = "yassin-hussein/Five-Epoch-24-Aug-Central-Kurdish-Spell-Checker"
 
7
 
8
+ # Load private model with token from Space secrets
9
  hf_token = os.getenv("HF_TOKEN")
10
+ spell_corrector = pipeline(
11
+ "text2text-generation",
12
+ model=model_id,
13
+ max_length=1024,
14
+ token=hf_token,
15
+ )
16
 
17
  def correct_spell(text, num_sequence=3):
18
  d = Differ()
19
  if text is None:
20
  text = ""
21
+ # Guard against None from UI/examples
22
+ if num_sequence is None:
23
+ num_sequence = 3
24
+ # Ensure num_return_sequences <= num_beams
25
+ num_sequence = int(max(1, min(5, num_sequence)))
26
+
27
+ outputs = spell_corrector(
28
+ text,
29
+ num_beams=5,
30
+ num_return_sequences=num_sequence
31
+ )
32
+ first_suggestion = outputs[0]["generated_text"]
33
+ all_suggestions = "\n\n".join([o["generated_text"] for o in outputs])
34
 
35
  return [
36
+ (tok[2:], tok[0] if tok[0] != " " else None)
37
+ for tok in d.compare(text, first_suggestion)
38
+ ], all_suggestions
39
 
40
 
41
  demo = gr.Interface(
42
+ fn=correct_spell,
43
+ inputs=[
44
  gr.Textbox(
45
  label="Input text",
46
  info="Initial text to be corrected",
47
  lines=3,
48
  value="كئشهي نووصين",
49
+ rtl=True,
50
  ),
51
  gr.Slider(
52
  label="Number of Sequences",
 
54
  maximum=5,
55
  step=1,
56
  value=3,
57
+ info="Number of different sequences to be returned",
58
+ ),
 
59
  ],
60
  outputs=[
61
  gr.HighlightedText(
 
64
  show_legend=True,
65
  color_map={"-": "pink", "+": "green"},
66
  container=True,
67
+ elem_id="kurdi",
68
  ),
69
+ gr.Textbox(label="Corrected Text", rtl=True, container=True),
70
  ],
71
+ # Each example must include BOTH inputs: [text, slider_value]
72
  examples=[
73
+ ["شة وئكي قة نديل هئناية كريان دلة ي ماط و ديل", 3],
74
+ ["برياري مي دةنكي ذؤرينةي رةهاية", 3],
75
+ ["بة هي خشة ويصتي نيوانمانة وة چة ندينجار باوكي لة مالة وة دة ريكردووة", 3],
76
+ ["هه روه ها دوو كاربه ده ستي شيعه ش له مردن رظگاريان بوو پاش اه وه ي روظي دووشه ممه له ده وروبه ري به غدا هه ولي كوش تنيان درا", 3],
77
+ ["حکومەتلە گفتوگۆحانی پەرلەماندا لەسەربودجەی نوێ ڕایگەیاند کە لە دەنگدانلەسەر بودجە بەردەوام دەبێت", 3],
78
+ ["ژنەڤ کاندغدێکی کورد نەشتەرگەری بۆکەا", 3],
79
+ ["فەستبخەرکرانی سێ هاووڵاتی لە شاری بۆکانلە لاین هێزە ئەمنییکەانەوە", 3],
80
+ ["ئەم وێنجانەی وخارەوەش چەند ێونەیەکی دەزپێرکاوی مۆبایلەکەن", 3],
81
+ ["خۆگزە توانیبام ژیان لە دیداری یەکەی ژاچگرێ بدەم", 3],
82
+ ["هەرفەرمانبەرێک بەناشچایستە پلەی نوەزیفیوەرگرتبێتلێیدەسەرنێتەەو", 3],
83
+ ["ماوەیەکەدەست ەب ئاامدەکسری کرا٦وە بۆ بەڕێوەچوونی ەششەمین فیستیڤاڵینێودەوڵەتیی هەولێرب ۆ شانۆ", 3],
84
+ ["ەڵم ئارەزوومە کە فیلمێک لە سەرحۆریەکانی ێجەریای نێوچیڕۆکەکانیشەوان عەرەبیەوە بەرخهەم بهێنم", 3],
85
+ ["پارەی ئەلکتترۆنیکی هیان راوی دیجیتاڵ جۆرە راوێکە کە تەنیا بە شێوەی ئەلیکترۆنیکی لەبەردەستەایە", 3],
86
  ],
87
  title="Spell Check",
 
88
  css="""
89
+ #kurdi { text-align: right; }
 
 
90
  """,
91
  theme=gr.themes.Base(
92
  primary_hue="pink",
 
95
  spacing_size=gr.themes.sizes.spacing_lg,
96
  radius_size=gr.themes.sizes.radius_lg,
97
  font=gr.themes.GoogleFont("Noto Sans"),
 
98
  ),
99
  examples_per_page=20,
100
+ flagging_mode="auto", # replace deprecated allow_flagging
101
+ # If you prefer skipping example pre-cache entirely, add:
102
+ # cache_examples=False,
103
  )
104
+
105
  if __name__ == "__main__":
106
+ # If SSR causes issues in your Space, you can disable it like:
107
+ # demo.launch(ssr_mode=False)
108
+ demo.launch()