dockerfile

FROM python:3.10-slim

WORKDIR /app
RUN apt-get update && apt-get install -y --no-install-recommends curl build-essential

# Установка llama-cpp-python (веб-сервер для твоей модели)
RUN pip install llama-cpp-python[server]

# Копируем модель и сайт
COPY ./orack-mini.gguf /app/orack-mini.gguf
COPY ./index.html /app/index.html

# Команда, которая выполнится при старте контейнера
CMD python -m llama_cpp.server --model /app/orack-mini.gguf --port 7860 --host 0.0.0.0