Spaces:
Running on Zero
app.py
Browse filesimport gradio as gr
import spaces
from sentence_transformers import SentenceTransformer
# Tải sẵn mô hình (sẽ tự động được chuyển lên GPU khi hàm chạy)
MODEL_NAME = "intfloat/multilingual-e5-large"
print(f"Loading {MODEL_NAME}...")
model = SentenceTransformer(MODEL_NAME)
print("Model loaded!")
# duration=10: giới hạn thời gian giữ GPU tối đa 10s để ưu tiên hàng đợi ZeroGPU
@spaces.GPU(duration=10)
def encode_text(text: str):
if not text or not text.strip():
return []
# E5 chuẩn hóa: câu hỏi tìm kiếm cần có tiền tố 'query: '
cleaned = text.strip()
if not (cleaned.startswith("query: ") or cleaned.startswith("passage: ")):
cleaned = f"query: {cleaned}"
# Model tự động chạy trên CUDA nhờ decorator @spaces.GPU
embedding = model.encode(cleaned, normalize_embeddings=False)
return embedding.tolist()
# Giao diện Gradio + Cấu hình tên API endpoint
demo = gr.Interface(
fn=encode_text,
inputs=gr.Textbox(label="Văn bản cần Embed", placeholder="Nhập câu hỏi..."),
outputs=gr.JSON(label="Vector (1024 số thực)"),
title="Multilingual E5 Large - ZeroGPU Embedding API",
api_name="encode" # Tên endpoint API: /encode
)
if __name__ == "__main__":
demo.launch()
- requirements.txt +3 -0
|
@@ -0,0 +1,3 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
sentence-transformers>=3.0.0
|
| 2 |
+
torch
|
| 3 |
+
spaces
|