abodealdrb commited on
Commit
f3968a2
·
verified ·
1 Parent(s): 0f80edb

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +83 -61
app.py CHANGED
@@ -1,62 +1,84 @@
1
- import gradio as gr
2
- from unsloth import FastLanguageModel
3
- from unsloth.chat_templates import get_chat_template
4
- from langchain_community.embeddings import HuggingFaceEmbeddings
5
- from langchain_community.vectorstores import FAISS
6
- from langchain.text_splitter import RecursiveCharacterTextSplitter
7
- import os
8
-
9
- # 1. إعدادات الموديل (استخدم الموديل المرفوع)
10
- # ملاحظة: في الـ Space المجاني (CPU) قد يكون التحميل بطيئاً جداً
11
- # الأفضل استخدام الموديل المدمج (Merged) الذي شرحته لك سابقاً إذا كنت ستستخدم CPU
12
- MODEL_NAME = "abodealdrb/Yemen-University-Assistant-Llama3"
13
- token = os.getenv("HF_TOKEN") # يجب وضع التوكن في إعدادات السبيس
14
-
15
- model, tokenizer = FastLanguageModel.from_pretrained(
16
- model_name = MODEL_NAME,
17
- max_seq_length = 2048,
18
- dtype = None,
19
- load_in_4bit = True,
20
- token = token,
21
- )
22
- FastLanguageModel.for_inference(model)
23
- tokenizer = get_chat_template(tokenizer, chat_template = "llama-3.1")
24
-
25
- # 2. تجهيز RAG
26
- print("Building RAG...")
27
- with open("knowledge_base.txt", "r", encoding="utf-8") as f:
28
- text = f.read()
29
-
30
- text_splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=50)
31
- docs = text_splitter.create_documents([text])
32
- embeddings = HuggingFaceEmbeddings(model_name="intfloat/multilingual-e5-small")
33
- db = FAISS.from_documents(docs, embeddings)
34
-
35
- # 3. دالة الرد
36
- def predict(message):
37
- # بحث RAG
38
- context = ""
39
- if db:
40
- search_docs = db.similarity_search(message, k=3)
41
- context = "\n".join([d.page_content for d in search_docs])
42
-
43
- # البرومبت
44
- system_prompt = f"""
45
- أنت مساعد جامعة القلم.
46
- استخدم السياق التالي للإجابة بدقة:
47
- {context}
48
- """
49
-
50
- messages = [
51
- {"role": "system", "content": system_prompt},
52
- {"role": "user", "content": message}
53
- ]
54
-
55
- inputs = tokenizer.apply_chat_template(messages, tokenize=True, add_generation_prompt=True, return_tensors="pt")
56
- outputs = model.generate(input_ids=inputs, max_new_tokens=256, temperature=0.1)
57
- response = tokenizer.decode(outputs[0][inputs.shape[-1]:], skip_special_tokens=True)
58
- return response
59
-
60
- # 4. تشغيل التطبيق كـ API
61
- iface = gr.Interface(fn=predict, inputs="text", outputs="text")
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
62
  iface.launch()
 
1
+ import gradio as gr
2
+ from langchain_huggingface import HuggingFaceEndpoint
3
+ from langchain_community.embeddings import HuggingFaceEmbeddings
4
+ from langchain_community.vectorstores import FAISS
5
+ from langchain.text_splitter import RecursiveCharacterTextSplitter
6
+ from langchain.prompts import PromptTemplate
7
+ import os
8
+
9
+ # ---------------------------------------------------------
10
+ # 1. إعداد الاتصال بالموديل (عن بعد)
11
+ # ---------------------------------------------------------
12
+ # نستخدم الموديل القوي الرسمي مؤقتاً لضمان عمل السبيس
13
+ # لاحقاً عندما ينتهي رفع موديلك المدمج، غير هذا الرابط إلى رابط موديلك
14
+ REPO_ID = "meta-llama/Meta-Llama-3-8B-Instruct"
15
+
16
+ # جلب التوكن من الإعدادات (تأكد أنك أضفته في Secrets)
17
+ hf_token = os.getenv("HF_TOKEN")
18
+
19
+ # هذا السطر هو الحل: يتصل بالموديل عبر النت ولا يحمله على الجهاز
20
+ llm = HuggingFaceEndpoint(
21
+ repo_id=REPO_ID,
22
+ max_new_tokens=512,
23
+ temperature=0.1,
24
+ repetition_penalty=1.1,
25
+ huggingfacehub_api_token=hf_token
26
+ )
27
+
28
+ # ---------------------------------------------------------
29
+ # 2. بناء قاعدة المعرفة (RAG)
30
+ # ---------------------------------------------------------
31
+ print("Building RAG Knowledge Base...")
32
+ # تأكد من وجود ملف knowledge_base.txt في ملفات السبيس
33
+ try:
34
+ with open("knowledge_base.txt", "r", encoding="utf-8") as f:
35
+ knowledge_text = f.read()
36
+ except FileNotFoundError:
37
+ knowledge_text = "لا توجد معلومات حالياً."
38
+
39
+ # تقسيم النص
40
+ text_splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=50)
41
+ docs = text_splitter.create_documents([knowledge_text])
42
+
43
+ # إنشاء الفهرس
44
+ embeddings = HuggingFaceEmbeddings(model_name="intfloat/multilingual-e5-small")
45
+ db = FAISS.from_documents(docs, embeddings)
46
+ retriever = db.as_retriever(search_kwargs={"k": 3})
47
+
48
+ # ---------------------------------------------------------
49
+ # 3. دالة المعالجة والرد
50
+ # ---------------------------------------------------------
51
+ custom_prompt_template = """
52
+ أنت المساعد الذكي لجامعة القلم.
53
+ استخدم المعلومات التالية للإجابة على سؤال الطالب بدقة.
54
+
55
+ المعلومات المرجعية:
56
+ {context}
57
+
58
+ سؤال الطالب:
59
+ {question}
60
+
61
+ الإجابة:
62
+ """
63
+ prompt = PromptTemplate(template=custom_prompt_template, input_variables=["context", "question"])
64
+
65
+ def predict(message):
66
+ try:
67
+ # البحث في الملفات
68
+ relevant_docs = retriever.invoke(message)
69
+ context = "\n".join([d.page_content for d in relevant_docs])
70
+
71
+ # تجهيز السؤال الكامل
72
+ full_input = custom_prompt_template.format(context=context, question=message)
73
+
74
+ # إرسال السؤال للموديل عن بعد
75
+ response = llm.invoke(full_input)
76
+ return response
77
+ except Exception as e:
78
+ return f"حدث خطأ: {str(e)}"
79
+
80
+ # ---------------------------------------------------------
81
+ # 4. تشغيل الواجهة و API
82
+ # ---------------------------------------------------------
83
+ iface = gr.Interface(fn=predict, inputs="text", outputs="text")
84
  iface.launch()