File size: 2,471 Bytes
bef79e3
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
import gradio as gr
from unsloth import FastLanguageModel
from unsloth.chat_templates import get_chat_template
from langchain_community.embeddings import HuggingFaceEmbeddings
from langchain_community.vectorstores import FAISS
from langchain.text_splitter import RecursiveCharacterTextSplitter
import os

# 1. إعدادات الموديل (استخدم الموديل المرفوع)
# ملاحظة: في الـ Space المجاني (CPU) قد يكون التحميل بطيئاً جداً
# الأفضل استخدام الموديل المدمج (Merged) الذي شرحته لك سابقاً إذا كنت ستستخدم CPU
MODEL_NAME = "abodealdrb/Yemen-University-Assistant-Llama3" 
token = os.getenv("HF_TOKEN") # يجب وضع التوكن في إعدادات السبيس

model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = MODEL_NAME,
    max_seq_length = 2048,
    dtype = None,
    load_in_4bit = True,
    token = token, 
)
FastLanguageModel.for_inference(model)
tokenizer = get_chat_template(tokenizer, chat_template = "llama-3.1")

# 2. تجهيز RAG
print("Building RAG...")
with open("knowledge_base.txt", "r", encoding="utf-8") as f:
    text = f.read()

text_splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=50)
docs = text_splitter.create_documents([text])
embeddings = HuggingFaceEmbeddings(model_name="intfloat/multilingual-e5-small")
db = FAISS.from_documents(docs, embeddings)

# 3. دالة الرد
def predict(message):
    # بحث RAG
    context = ""
    if db:
        search_docs = db.similarity_search(message, k=3)
        context = "\n".join([d.page_content for d in search_docs])
    
    # البرومبت
    system_prompt = f"""

    أنت مساعد جامعة القلم.

    استخدم السياق التالي للإجابة بدقة:

    {context}

    """
    
    messages = [
        {"role": "system", "content": system_prompt},
        {"role": "user", "content": message}
    ]
    
    inputs = tokenizer.apply_chat_template(messages, tokenize=True, add_generation_prompt=True, return_tensors="pt")
    outputs = model.generate(input_ids=inputs, max_new_tokens=256, temperature=0.1)
    response = tokenizer.decode(outputs[0][inputs.shape[-1]:], skip_special_tokens=True)
    return response

# 4. تشغيل التطبيق كـ API
iface = gr.Interface(fn=predict, inputs="text", outputs="text")
iface.launch()