ItsMa8di commited on
Commit
c5f7db4
·
1 Parent(s): 84d142d

added ai request, ai runner

Browse files
Files changed (4) hide show
  1. app.py +21 -1
  2. models/ai_request.py +6 -0
  3. requirements.txt +5 -0
  4. utils/ai_runner.py +35 -0
app.py CHANGED
@@ -1,7 +1,27 @@
1
- from fastapi import FastAPI
 
2
 
 
3
  app = FastAPI()
4
 
5
  @app.get("/")
6
  def greet_json():
7
  return {"Hello": "World!"}
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ from fastapi import FastAPI, HTTPException
2
+ from utils.ai_runner import run_llm
3
 
4
+ from models.ai_request import AIRequest
5
  app = FastAPI()
6
 
7
  @app.get("/")
8
  def greet_json():
9
  return {"Hello": "World!"}
10
+
11
+ @app.post("/api/v1/ai")
12
+ async def ai_json(request: AIRequest):
13
+ try:
14
+ response = await run_llm(request.text,request.model_name)
15
+
16
+ if not response:
17
+ return HTTPException(status_code=400,detail="Couldn't retrive response on server")
18
+
19
+ return {
20
+ "data":
21
+ {
22
+ "answer": response["answer"]
23
+ }
24
+ }
25
+ except Exception as e:
26
+ print(e)
27
+ return HTTPException(status_code=500,detail="Internal server error occured")
models/ai_request.py ADDED
@@ -0,0 +1,6 @@
 
 
 
 
 
 
 
1
+ from pydantic import BaseModel
2
+
3
+
4
+ class AIRequest(BaseModel):
5
+ text: str
6
+ model_name: str
requirements.txt CHANGED
@@ -1,2 +1,7 @@
1
  fastapi
2
  uvicorn[standard]
 
 
 
 
 
 
1
  fastapi
2
  uvicorn[standard]
3
+ langchain
4
+ langchain_google_genai
5
+ langchain_groq
6
+ fastembed
7
+ python_dotenv
utils/ai_runner.py ADDED
@@ -0,0 +1,35 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ from typing import Any, Dict, List
2
+ from langchain.chains import ConversationalRetrievalChain
3
+ from langchain_google_genai import ChatGoogleGenerativeAI, GoogleGenerativeAIEmbeddings
4
+ from langchain_groq import ChatGroq
5
+ from dotenv import load_dotenv
6
+
7
+ load_dotenv()
8
+ async def run_llm(query: str,model_name: str= "gemini-1.5-flash", chat_history: List[Dict[str, Any]] = [],):
9
+ embeddings = FastEmbedEmbeddings(model_name="BAAI/bge-base-en-v1.5")
10
+ docsearch = PineconeVectorStore(embedding=embeddings, index_name=INDEX_NAME)
11
+ chat = ChatGoogleGenerativeAI(model=model_name,)
12
+ # chat = ChatGroq(model_name="llama-3.3-70b-versatile",
13
+ # )
14
+ # temperature=1,
15
+
16
+ pt = f"""
17
+ تو یک ربات هستی که درمورد سرور مونگو کرفت میدانی.
18
+ مونگوکرفت یک سرور ماینکرفت سروایول است
19
+
20
+ اطلاعات تو تا تاریخ 24/01/2025 به روز شده است.
21
+
22
+ با توجه به سوال کاربر اطلاعات مورد نظر را دریافت و به صورت فرمت شده جواب بده.
23
+
24
+ **تو درمورد چیزهایی غیر از مونگو کرفت، مطالب بد هیچ چیزی نمیدانی و جوابی نمیدهی**
25
+ **به فارسی پاسخ بده**
26
+
27
+ با لحنی دوستانه و ساده بنویس.
28
+
29
+ سوال: {query}
30
+ """
31
+
32
+ qa = ConversationalRetrievalChain.from_llm(
33
+ llm=chat, retriever=docsearch.as_retriever(), return_source_documents=True,
34
+ )
35
+ return qa.invoke({"question": pt, "chat_history": chat_history})