namboqa-api / preload.py
phamluan's picture
Bỏ qua HF_TOKEN rỗng khi tải mô hình/dữ liệu
b8740b1 verified
Raw History Blame Contribute Delete
805 Bytes
"""Tải sẵn trọng số mô hình lúc build image để Space khởi động nhanh hơn."""
import os
from huggingface_hub import snapshot_download
tok = os.environ.get("HF_TOKEN") or None # chuỗi rỗng làm hỏng header Authorization
for name in (os.environ.get("RETRIEVER_MODEL", "bkai-foundation-models/vietnamese-bi-encoder"),
os.environ.get("READER_MODEL", "deepset/xlm-roberta-base-squad2")):
try:
snapshot_download(name, token=tok,
ignore_patterns=["*.onnx", "*.h5", "*.msgpack", "*.ot", "onnx/*",
"openvino/*", "*.tflite", "rust_model*"])
print("preloaded", name)
except Exception as e: # không chặn build; lúc chạy sẽ tải lại
print("skip preload", name, e)