ddfws commited on
Commit
42c7973
·
verified ·
1 Parent(s): 5a15ff8

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +202 -114
app.py CHANGED
@@ -8,12 +8,14 @@ from transformers import (
8
  )
9
 
10
 
 
 
 
 
 
11
  MODEL_ID = "ddfws/Rezaeian-StatsAI"
12
 
13
 
14
- # ==============================
15
- # Load Model
16
- # ==============================
17
 
18
  print("Loading tokenizer...")
19
 
@@ -23,6 +25,7 @@ tokenizer = AutoTokenizer.from_pretrained(
23
  )
24
 
25
 
 
26
  print("Loading model...")
27
 
28
 
@@ -41,96 +44,175 @@ print("MODEL READY")
41
 
42
 
43
 
44
- # ==============================
45
- # System Prompt
46
- # ==============================
47
 
48
 
49
  SYSTEM_PROMPT = """
50
 
51
- تو یک استاد تمام دانشگاه تهران در رشته آمار و احتمال مهندسی هستی.
52
 
53
- قوانین پاسخ:
54
 
55
- 1- پاسخ‌ها کاملاً رسمی و دانشگاهی باشند.
 
56
 
57
- 2- برای دانشجوی کارشناسی مهندسی توضیح بده.
58
 
59
- 3- در حل مسائل همیشه این ساختار را رعایت کن:
60
 
61
- روش حل:
62
- (نام توزیع، قضیه، فرمول یا روش آماری)
63
 
64
- تعریف و روابط:
65
- (فرمول‌ها و توضیحات لازم)
66
 
67
- حل مرحله به مرحله:
68
- (تمام محاسبات بدون حذف)
69
 
70
- نتیجه نهایی:
71
- (پاسخ واضح)
 
 
 
 
72
 
73
- 4- هیچ مرحله محاسباتی را حذف نکن.
74
 
75
- 5- اگر سؤال مربوط به احتمال است:
76
- - فضای نمونه
77
- - رویدادها
78
- - قوانین احتمال
79
- - توزیع مناسب
80
- را مشخص کن.
81
 
82
- 6- اگر سؤال مربوط به آمار مهندسی است:
83
- - فرضیات
84
- - آزمون آماری
85
- - سطح معنی داری
86
- - نتیجه گیری
87
- را بیان کن.
88
 
89
- 7- فرمول‌ها را با LaTeX بنویس.
90
 
91
- 8- از جواب‌های کوتاه و ناقص خودداری کن.
 
 
92
 
93
- """
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
94
 
95
 
96
 
97
- # ==============================
98
- # Generate
99
- # ==============================
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
100
 
101
 
102
  @spaces.GPU
103
  def generate(message, history):
104
 
105
 
106
- messages = []
107
 
108
-
109
- messages.append(
110
  {
111
  "role":"system",
112
  "content":SYSTEM_PROMPT
113
  }
114
- )
 
115
 
116
 
117
- for user_msg, bot_msg in history:
 
 
118
 
119
  messages.append(
120
  {
121
  "role":"user",
122
- "content":user_msg
123
  }
124
  )
125
 
 
126
  messages.append(
127
  {
128
  "role":"assistant",
129
- "content":bot_msg
130
  }
131
  )
132
 
133
 
 
134
  messages.append(
135
  {
136
  "role":"user",
@@ -149,64 +231,80 @@ def generate(message, history):
149
 
150
 
151
  inputs = tokenizer(
 
152
  prompt,
 
153
  return_tensors="pt",
 
154
  truncation=True,
 
155
  max_length=8192
 
156
  )
157
 
158
 
159
 
160
  inputs = {
161
- key:value.to(model.device)
162
- for key,value in inputs.items()
 
 
 
163
  }
164
 
165
 
166
 
167
  with torch.no_grad():
168
 
169
- outputs = model.generate(
170
 
171
  **inputs,
172
 
173
 
174
- # جواب بلند برای حل تشریحی
175
- max_new_tokens=2048,
 
 
 
 
 
 
176
 
177
 
178
  # مناسب ریاضی
 
179
  temperature=0.25,
180
 
181
 
182
- top_p=0.9,
183
 
184
 
185
  do_sample=True,
186
 
187
 
188
- repetition_penalty=1.15,
189
 
190
 
191
- eos_token_id=tokenizer.eos_token_id
 
 
 
192
 
193
  )
194
 
195
 
196
 
197
- answer_tokens = outputs[
198
- 0
199
- ][
200
- inputs["input_ids"].shape[-1]:
201
- ]
202
 
 
203
 
 
 
 
204
 
205
- answer = tokenizer.decode(
206
- answer_tokens,
207
  skip_special_tokens=True
208
- )
209
 
 
210
 
211
 
212
  return answer
@@ -214,63 +312,62 @@ def generate(message, history):
214
 
215
 
216
 
217
-
218
- # ==============================
219
  # Interface
220
- # ==============================
221
 
222
 
223
- custom_css = """
224
 
225
- .gradio-container {
226
 
227
- direction: rtl;
228
 
229
- font-family:
230
- Tahoma,
231
- Arial;
232
 
233
  }
234
 
235
 
 
236
 
237
- .message {
238
 
239
- direction: rtl !important;
240
 
241
- text-align:right !important;
242
 
243
- font-size:18px !important;
244
 
245
- line-height:2;
246
 
247
  }
248
 
249
 
 
250
 
251
- textarea {
252
 
253
- direction:rtl !important;
254
 
255
- text-align:right !important;
256
 
257
- font-size:18px !important;
258
 
259
- }
260
 
 
261
 
 
262
 
263
- code {
264
 
265
- direction:ltr;
266
 
267
  }
268
 
269
 
270
 
271
- footer {
272
 
273
- display:none !important;
274
 
275
  }
276
 
@@ -283,69 +380,60 @@ demo = gr.ChatInterface(
283
  fn=generate,
284
 
285
 
286
- title="Rezaeian StatsAI 🤖",
287
 
288
 
289
  description="""
290
 
291
  دستیار هوشمند آمار و احتمال مهندسی
292
 
293
- سطح:
294
  کارشناسی مهندسی
295
 
296
- قابلیت‌ها:
297
-
298
- ✅ احتمال و ترکیبیات
299
-
300
- ✅ متغیرهای تصادفی
301
-
302
- ✅ توزیع‌های گسسته و پیوسته
303
-
304
- ✅ تخمین و آزمون فرض
305
-
306
- ✅ رگرسیون
307
 
308
- ✅ ANOVA
309
-
310
- ✅ قابلیت اطمینان
311
-
312
- حل کاملاً مرحله به مرحله مانند استاد دانشگاه
313
 
314
  """,
315
 
316
 
317
  chatbot=gr.Chatbot(
318
 
319
- height=750,
320
 
321
- rtl=True
322
 
323
- ),
324
 
 
325
 
326
- textbox=gr.Textbox(
327
 
328
- placeholder=
329
- "سؤال آمار و احتمال مهندسی خود را وارد کنید...",
330
 
 
331
 
332
- rtl=True,
333
 
 
334
 
335
- lines=3
336
 
337
  ),
338
 
339
 
340
- css=custom_css
341
 
342
  )
343
 
344
 
345
 
346
- # ==============================
347
- # Launch
348
- # ==============================
349
 
350
 
351
  demo.launch(
 
8
  )
9
 
10
 
11
+
12
+ # ==========================
13
+ # Model
14
+ # ==========================
15
+
16
  MODEL_ID = "ddfws/Rezaeian-StatsAI"
17
 
18
 
 
 
 
19
 
20
  print("Loading tokenizer...")
21
 
 
25
  )
26
 
27
 
28
+
29
  print("Loading model...")
30
 
31
 
 
44
 
45
 
46
 
47
+ # ==========================
48
+ # Professional System Prompt
49
+ # ==========================
50
 
51
 
52
  SYSTEM_PROMPT = """
53
 
54
+ نقش شما:
55
 
56
+ شما یک استاد تمام دانشگاه تهران در درس «آمار و احتمال مهندسی» هستید.
57
 
58
+ مخاطب:
59
+ دانشجوی کارشناسی رشته‌های مهندسی برق، کنترل، مکانیک، صنایع، کامپیوتر و عمران.
60
 
 
61
 
62
+ هدف:
63
 
64
+ ارائه پاسخ‌هایی مانند یک جزوه دانشگاهی کامل.
 
65
 
 
 
66
 
67
+ قوانین بسیار مهم:
 
68
 
69
+ - پاسخ کوتاه نده.
70
+ - هیچ مرحله حل را حذف نکن.
71
+ - فقط جواب نهایی را ننویس.
72
+ - مانند استاد دانشگاه توضیح بده.
73
+ - اگر سؤال محاسباتی است، حل کامل ارائه کن.
74
+ - اگر سؤال مفهومی است، با مثال توضیح بده.
75
 
 
76
 
77
+ ساختار اجباری پاسخ:
 
 
 
 
 
78
 
 
 
 
 
 
 
79
 
80
+ ۱) تشخیص روش حل
81
 
82
+ ابتدا مشخص کن:
83
+ - مسئله مربوط به چه مبحثی است.
84
+ - از چه توزیع، قضیه یا روش آماری استفاده می‌کنیم.
85
 
86
+
87
+ ۲) توضیح علمی
88
+
89
+ مفهوم را با زبان ساده ولی دانشگاهی توضیح بده.
90
+
91
+
92
+ ۳) فرمول‌های مورد نیاز
93
+
94
+ تمام روابط ریاضی را واضح با LaTeX بنویس.
95
+
96
+
97
+ ۴) حل مرحله به مرحله
98
+
99
+ تمام مراحل:
100
+ - جایگذاری
101
+ - محاسبات
102
+ - تبدیل‌ها
103
+ - نتیجه میانی
104
+
105
+ را نشان بده.
106
+
107
+
108
+ ۵) مثال مشابه آموزشی
109
+
110
+ یک مثال مشابه از مهندسی ارائه کن و حل کن.
111
+
112
+
113
+ ۶) نکات مهم امتحانی
114
+
115
+ اشتباهات رایج و نکات کنکوری/امتحانی را ذکر کن.
116
+
117
+
118
+ ۷) نتیجه نهایی
119
+
120
+ پاسخ نهایی را واضح بیان کن.
121
 
122
 
123
 
124
+ موضوعاتی که باید پوشش دهی:
125
+
126
+
127
+ - احتمال و قوانین احتمال
128
+ - ترکیبیات
129
+ - قضیه بیز
130
+ - متغیر تصادفی گسسته و پیوسته
131
+ - توزیع برنولی
132
+ - دوجمله‌ای
133
+ - پواسون
134
+ - هندسی
135
+ - فوق هندسی
136
+ - یکنواخت
137
+ - نمایی
138
+ - گاما
139
+ - نرمال
140
+ - لگ نرمال
141
+ - توزیع‌های مهندسی
142
+
143
+
144
+ - امید ریاضی
145
+ - واریانس
146
+ - کوواریانس
147
+ - همبستگی
148
+
149
+
150
+ - نمونه‌گیری
151
+ - قانون اعداد بزرگ
152
+ - قضیه حد مرکزی
153
+
154
+
155
+ - تخمین پارامتر
156
+ - فاصله اطمینان
157
+ - آزمون فرض
158
+ - آزمون Z
159
+ - آزمون T
160
+ - کای دو
161
+
162
+
163
+ - رگرسیون
164
+ - ANOVA
165
+ - DOE
166
+ - قابلیت اطمینان
167
+
168
+
169
+ فرمول‌ها را مرتب بنویس.
170
+ ترکیب فارسی و انگلیسی ریاضی را خراب نکن.
171
+ متغیرهای X,Y,μ,σ,P,E,Var را انگلیسی نگه دار.
172
+
173
+ """
174
+
175
+
176
+ # ==========================
177
+ # Generation
178
+ # ==========================
179
 
180
 
181
  @spaces.GPU
182
  def generate(message, history):
183
 
184
 
185
+ messages = [
186
 
 
 
187
  {
188
  "role":"system",
189
  "content":SYSTEM_PROMPT
190
  }
191
+
192
+ ]
193
 
194
 
195
+ # فقط چند پیام آخر برای جلوگیری از پر شدن حافظه
196
+
197
+ for user, assistant in history[-5:]:
198
 
199
  messages.append(
200
  {
201
  "role":"user",
202
+ "content":user
203
  }
204
  )
205
 
206
+
207
  messages.append(
208
  {
209
  "role":"assistant",
210
+ "content":assistant
211
  }
212
  )
213
 
214
 
215
+
216
  messages.append(
217
  {
218
  "role":"user",
 
231
 
232
 
233
  inputs = tokenizer(
234
+
235
  prompt,
236
+
237
  return_tensors="pt",
238
+
239
  truncation=True,
240
+
241
  max_length=8192
242
+
243
  )
244
 
245
 
246
 
247
  inputs = {
248
+
249
+ k:v.to(model.device)
250
+
251
+ for k,v in inputs.items()
252
+
253
  }
254
 
255
 
256
 
257
  with torch.no_grad():
258
 
259
+ output = model.generate(
260
 
261
  **inputs,
262
 
263
 
264
+ # جواب طولانی
265
+
266
+ max_new_tokens=4096,
267
+
268
+
269
+ # حداقل حجم پاسخ
270
+
271
+ min_new_tokens=700,
272
 
273
 
274
  # مناسب ریاضی
275
+
276
  temperature=0.25,
277
 
278
 
279
+ top_p=0.95,
280
 
281
 
282
  do_sample=True,
283
 
284
 
285
+ repetition_penalty=1.1,
286
 
287
 
288
+ no_repeat_ngram_size=3,
289
+
290
+
291
+ pad_token_id=tokenizer.eos_token_id
292
 
293
  )
294
 
295
 
296
 
297
+ answer = tokenizer.decode(
 
 
 
 
298
 
299
+ output[0][
300
 
301
+ inputs["input_ids"].shape[-1]:
302
+
303
+ ],
304
 
 
 
305
  skip_special_tokens=True
 
306
 
307
+ )
308
 
309
 
310
  return answer
 
312
 
313
 
314
 
315
+ # ==========================
 
316
  # Interface
317
+ # ==========================
318
 
319
 
320
+ css = """
321
 
322
+ .gradio-container{
323
 
324
+ direction:rtl;
325
 
326
+ max-width:1400px!important;
 
 
327
 
328
  }
329
 
330
 
331
+ .message{
332
 
333
+ direction:rtl!important;
334
 
335
+ text-align:right!important;
336
 
337
+ font-family:Tahoma,Arial!important;
338
 
339
+ font-size:18px!important;
340
 
341
+ line-height:2.2!important;
342
 
343
  }
344
 
345
 
346
+ .markdown-body{
347
 
348
+ direction:rtl!important;
349
 
350
+ text-align:right!important;
351
 
352
+ }
353
 
 
354
 
 
355
 
356
+ textarea{
357
 
358
+ direction:rtl!important;
359
 
360
+ text-align:right!important;
361
 
362
+ font-size:18px!important;
363
 
364
  }
365
 
366
 
367
 
368
+ footer{
369
 
370
+ display:none!important;
371
 
372
  }
373
 
 
380
  fn=generate,
381
 
382
 
383
+ title="🤖 Rezaeian StatsAI",
384
 
385
 
386
  description="""
387
 
388
  دستیار هوشمند آمار و احتمال مهندسی
389
 
390
+ سطح آموزشی:
391
  کارشناسی مهندسی
392
 
393
+ حل مسائل به سبک استاد دانشگاه:
 
 
 
 
 
 
 
 
 
 
394
 
395
+ ✓ توضیح مفهوم
396
+ ✓ فرمول‌ها
397
+ ✓ حل مرحله‌ای
398
+ ✓ مثال مشابه
399
+ ✓ نکات امتحانی
400
 
401
  """,
402
 
403
 
404
  chatbot=gr.Chatbot(
405
 
406
+ height=1200,
407
 
408
+ rtl=True,
409
 
410
+ show_copy_button=True,
411
 
412
+ render_markdown=True
413
 
414
+ ),
415
 
 
 
416
 
417
+ textbox=gr.Textbox(
418
 
419
+ placeholder="سؤال آمار و احتمال خود را وارد کنید ...",
420
 
421
+ lines=4,
422
 
423
+ rtl=True
424
 
425
  ),
426
 
427
 
428
+ css=css
429
 
430
  )
431
 
432
 
433
 
434
+ # ==========================
435
+ # Run
436
+ # ==========================
437
 
438
 
439
  demo.launch(