Spaces:
Sleeping
Sleeping
File size: 2,471 Bytes
bef79e3 | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 | import gradio as gr
from unsloth import FastLanguageModel
from unsloth.chat_templates import get_chat_template
from langchain_community.embeddings import HuggingFaceEmbeddings
from langchain_community.vectorstores import FAISS
from langchain.text_splitter import RecursiveCharacterTextSplitter
import os
# 1. إعدادات الموديل (استخدم الموديل المرفوع)
# ملاحظة: في الـ Space المجاني (CPU) قد يكون التحميل بطيئاً جداً
# الأفضل استخدام الموديل المدمج (Merged) الذي شرحته لك سابقاً إذا كنت ستستخدم CPU
MODEL_NAME = "abodealdrb/Yemen-University-Assistant-Llama3"
token = os.getenv("HF_TOKEN") # يجب وضع التوكن في إعدادات السبيس
model, tokenizer = FastLanguageModel.from_pretrained(
model_name = MODEL_NAME,
max_seq_length = 2048,
dtype = None,
load_in_4bit = True,
token = token,
)
FastLanguageModel.for_inference(model)
tokenizer = get_chat_template(tokenizer, chat_template = "llama-3.1")
# 2. تجهيز RAG
print("Building RAG...")
with open("knowledge_base.txt", "r", encoding="utf-8") as f:
text = f.read()
text_splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=50)
docs = text_splitter.create_documents([text])
embeddings = HuggingFaceEmbeddings(model_name="intfloat/multilingual-e5-small")
db = FAISS.from_documents(docs, embeddings)
# 3. دالة الرد
def predict(message):
# بحث RAG
context = ""
if db:
search_docs = db.similarity_search(message, k=3)
context = "\n".join([d.page_content for d in search_docs])
# البرومبت
system_prompt = f"""
أنت مساعد جامعة القلم.
استخدم السياق التالي للإجابة بدقة:
{context}
"""
messages = [
{"role": "system", "content": system_prompt},
{"role": "user", "content": message}
]
inputs = tokenizer.apply_chat_template(messages, tokenize=True, add_generation_prompt=True, return_tensors="pt")
outputs = model.generate(input_ids=inputs, max_new_tokens=256, temperature=0.1)
response = tokenizer.decode(outputs[0][inputs.shape[-1]:], skip_special_tokens=True)
return response
# 4. تشغيل التطبيق كـ API
iface = gr.Interface(fn=predict, inputs="text", outputs="text")
iface.launch() |