FROM vllm/vllm-openai:latest ENV PORT=7860 ENV HF_HOME=/tmp/hf_home ENV HUGGINGFACE_HUB_CACHE=/tmp/hf_home/hub ENV TRANSFORMERS_CACHE=/tmp/hf_home/transformers # HF Spaces가 UID 1000으로 실행하나 vllm 이미지에 해당 사용자가 없어 # getpass.getuser()가 실패함. 아래 환경변수들이 그 우회로임. ENV USER=user ENV HOME=/tmp ENV TORCHINDUCTOR_CACHE_DIR=/tmp/torchinductor ENV TRITON_CACHE_DIR=/tmp/triton ENV XDG_CACHE_HOME=/tmp/.cache EXPOSE 7860 ENTRYPOINT ["sh", "-c", "python3 -m vllm.entrypoints.openai.api_server \ --model ${MODEL_ID:-Qwen/Qwen2.5-7B-Instruct} \ --host 0.0.0.0 \ --port 7860 \ --max-model-len ${MAX_MODEL_LEN:-8192} \ --gpu-memory-utilization ${GPU_MEM_UTIL:-0.90} \ --dtype auto"]