thong7d commited on
Commit
7bb019c
·
verified ·
1 Parent(s): 55197b4

Create app.py

Browse files
Files changed (1) hide show
  1. app.py +36 -0
app.py ADDED
@@ -0,0 +1,36 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ import gradio as gr
2
+ import spaces
3
+ from sentence_transformers import SentenceTransformer
4
+
5
+ # Tải sẵn mô hình (sẽ tự động được chuyển lên GPU khi hàm chạy)
6
+ MODEL_NAME = "intfloat/multilingual-e5-large"
7
+ print(f"Loading {MODEL_NAME}...")
8
+ model = SentenceTransformer(MODEL_NAME)
9
+ print("Model loaded!")
10
+
11
+ # duration=10: giới hạn thời gian giữ GPU tối đa 10s để ưu tiên hàng đợi ZeroGPU
12
+ @spaces.GPU(duration=10)
13
+ def encode_text(text: str):
14
+ if not text or not text.strip():
15
+ return []
16
+
17
+ # E5 chuẩn hóa: câu hỏi tìm kiếm cần có tiền tố 'query: '
18
+ cleaned = text.strip()
19
+ if not (cleaned.startswith("query: ") or cleaned.startswith("passage: ")):
20
+ cleaned = f"query: {cleaned}"
21
+
22
+ # Model tự động chạy trên CUDA nhờ decorator @spaces.GPU
23
+ embedding = model.encode(cleaned, normalize_embeddings=False)
24
+ return embedding.tolist()
25
+
26
+ # Giao diện Gradio + Cấu hình tên API endpoint
27
+ demo = gr.Interface(
28
+ fn=encode_text,
29
+ inputs=gr.Textbox(label="Văn bản cần Embed", placeholder="Nhập câu hỏi..."),
30
+ outputs=gr.JSON(label="Vector (1024 số thực)"),
31
+ title="Multilingual E5 Large - ZeroGPU Embedding API",
32
+ api_name="encode" # Tên endpoint API: /encode
33
+ )
34
+
35
+ if __name__ == "__main__":
36
+ demo.launch()