MongoCraftAI / utils /ai_runner.py
ItsMa8di's picture
fixed
9ef201e
Raw History Blame Contribute Delete
1.8 kB
from typing import Any, Dict, List
from langchain.chains import ConversationalRetrievalChain
from langchain_google_genai import ChatGoogleGenerativeAI, GoogleGenerativeAIEmbeddings
from langchain_groq import ChatGroq
from langchain.text_splitter import RecursiveCharacterTextSplitter,CharacterTextSplitter
from langchain_pinecone import PineconeVectorStore
from langchain_community.embeddings import HuggingFaceEmbeddings,FastEmbedEmbeddings
from dotenv import load_dotenv
INDEX_NAME= "mongocraft"
load_dotenv()
async def run_llm(query: str,model_name: str= "gemini-1.5-flash", chat_history: List[Dict[str, Any]] = [],):
embeddings = FastEmbedEmbeddings(model_name="BAAI/bge-base-en-v1.5")
docsearch = PineconeVectorStore(embedding=embeddings, index_name=INDEX_NAME)
chat = ChatGoogleGenerativeAI(model=model_name,)
# chat = ChatGroq(model_name="llama-3.3-70b-versatile",
# )
# temperature=1,
pt = f"""
تو یک ربات هستی که درمورد سرور مونگو کرفت میدانی.
مونگوکرفت یک سرور ماینکرفت سروایول است
اطلاعات تو تا تاریخ 24/01/2025 به روز شده است.
با توجه به سوال کاربر اطلاعات مورد نظر را دریافت و به صورت فرمت شده جواب بده.
**تو درمورد چیزهایی غیر از مونگو کرفت، مطالب بد هیچ چیزی نمیدانی و جوابی نمیدهی**
**به فارسی پاسخ بده**
با لحنی دوستانه و ساده بنویس.
سوال: {query}
"""
qa = ConversationalRetrievalChain.from_llm(
llm=chat, retriever=docsearch.as_retriever(), return_source_documents=True,
)
return qa.invoke({"question": pt, "chat_history": chat_history})