abodealdrb's picture
Upload 3 files
bef79e3 verified
Raw History Blame Contribute Delete
2.47 kB
import gradio as gr
from unsloth import FastLanguageModel
from unsloth.chat_templates import get_chat_template
from langchain_community.embeddings import HuggingFaceEmbeddings
from langchain_community.vectorstores import FAISS
from langchain.text_splitter import RecursiveCharacterTextSplitter
import os
# 1. إعدادات الموديل (استخدم الموديل المرفوع)
# ملاحظة: في الـ Space المجاني (CPU) قد يكون التحميل بطيئاً جداً
# الأفضل استخدام الموديل المدمج (Merged) الذي شرحته لك سابقاً إذا كنت ستستخدم CPU
MODEL_NAME = "abodealdrb/Yemen-University-Assistant-Llama3"
token = os.getenv("HF_TOKEN") # يجب وضع التوكن في إعدادات السبيس
model, tokenizer = FastLanguageModel.from_pretrained(
model_name = MODEL_NAME,
max_seq_length = 2048,
dtype = None,
load_in_4bit = True,
token = token,
)
FastLanguageModel.for_inference(model)
tokenizer = get_chat_template(tokenizer, chat_template = "llama-3.1")
# 2. تجهيز RAG
print("Building RAG...")
with open("knowledge_base.txt", "r", encoding="utf-8") as f:
text = f.read()
text_splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=50)
docs = text_splitter.create_documents([text])
embeddings = HuggingFaceEmbeddings(model_name="intfloat/multilingual-e5-small")
db = FAISS.from_documents(docs, embeddings)
# 3. دالة الرد
def predict(message):
# بحث RAG
context = ""
if db:
search_docs = db.similarity_search(message, k=3)
context = "\n".join([d.page_content for d in search_docs])
# البرومبت
system_prompt = f"""
أنت مساعد جامعة القلم.
استخدم السياق التالي للإجابة بدقة:
{context}
"""
messages = [
{"role": "system", "content": system_prompt},
{"role": "user", "content": message}
]
inputs = tokenizer.apply_chat_template(messages, tokenize=True, add_generation_prompt=True, return_tensors="pt")
outputs = model.generate(input_ids=inputs, max_new_tokens=256, temperature=0.1)
response = tokenizer.decode(outputs[0][inputs.shape[-1]:], skip_special_tokens=True)
return response
# 4. تشغيل التطبيق كـ API
iface = gr.Interface(fn=predict, inputs="text", outputs="text")
iface.launch()