thong7d commited on
Commit
55197b4
·
verified ·
1 Parent(s): 35c1341

import gradio as gr
import spaces
from sentence_transformers import SentenceTransformer

# Tải sẵn mô hình (sẽ tự động được chuyển lên GPU khi hàm chạy)
MODEL_NAME = "intfloat/multilingual-e5-large"
print(f"Loading {MODEL_NAME}...")
model = SentenceTransformer(MODEL_NAME)
print("Model loaded!")

# duration=10: giới hạn thời gian giữ GPU tối đa 10s để ưu tiên hàng đợi ZeroGPU
@spaces.GPU(duration=10)
def encode_text(text: str):
if not text or not text.strip():
return []

# E5 chuẩn hóa: câu hỏi tìm kiếm cần có tiền tố 'query: '
cleaned = text.strip()
if not (cleaned.startswith("query: ") or cleaned.startswith("passage: ")):
cleaned = f"query: {cleaned}"

# Model tự động chạy trên CUDA nhờ decorator @spaces.GPU
embedding = model.encode(cleaned, normalize_embeddings=False)
return embedding.tolist()

# Giao diện Gradio + Cấu hình tên API endpoint
demo = gr.Interface(
fn=encode_text,
inputs=gr.Textbox(label="Văn bản cần Embed", placeholder="Nhập câu hỏi..."),
outputs=gr.JSON(label="Vector (1024 số thực)"),
title="Multilingual E5 Large - ZeroGPU Embedding API",
api_name="encode" # Tên endpoint API: /encode
)

if __name__ == "__main__":
demo.launch()

Files changed (1) hide show
  1. requirements.txt +3 -0
requirements.txt ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ sentence-transformers>=3.0.0
2
+ torch
3
+ spaces