import gradio as gr from unsloth import FastLanguageModel from unsloth.chat_templates import get_chat_template from langchain_community.embeddings import HuggingFaceEmbeddings from langchain_community.vectorstores import FAISS from langchain.text_splitter import RecursiveCharacterTextSplitter import os # 1. إعدادات الموديل (استخدم الموديل المرفوع) # ملاحظة: في الـ Space المجاني (CPU) قد يكون التحميل بطيئاً جداً # الأفضل استخدام الموديل المدمج (Merged) الذي شرحته لك سابقاً إذا كنت ستستخدم CPU MODEL_NAME = "abodealdrb/Yemen-University-Assistant-Llama3" token = os.getenv("HF_TOKEN") # يجب وضع التوكن في إعدادات السبيس model, tokenizer = FastLanguageModel.from_pretrained( model_name = MODEL_NAME, max_seq_length = 2048, dtype = None, load_in_4bit = True, token = token, ) FastLanguageModel.for_inference(model) tokenizer = get_chat_template(tokenizer, chat_template = "llama-3.1") # 2. تجهيز RAG print("Building RAG...") with open("knowledge_base.txt", "r", encoding="utf-8") as f: text = f.read() text_splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=50) docs = text_splitter.create_documents([text]) embeddings = HuggingFaceEmbeddings(model_name="intfloat/multilingual-e5-small") db = FAISS.from_documents(docs, embeddings) # 3. دالة الرد def predict(message): # بحث RAG context = "" if db: search_docs = db.similarity_search(message, k=3) context = "\n".join([d.page_content for d in search_docs]) # البرومبت system_prompt = f""" أنت مساعد جامعة القلم. استخدم السياق التالي للإجابة بدقة: {context} """ messages = [ {"role": "system", "content": system_prompt}, {"role": "user", "content": message} ] inputs = tokenizer.apply_chat_template(messages, tokenize=True, add_generation_prompt=True, return_tensors="pt") outputs = model.generate(input_ids=inputs, max_new_tokens=256, temperature=0.1) response = tokenizer.decode(outputs[0][inputs.shape[-1]:], skip_special_tokens=True) return response # 4. تشغيل التطبيق كـ API iface = gr.Interface(fn=predict, inputs="text", outputs="text") iface.launch()