Create Dockerfile
Browse files- Dockerfile +13 -0
Dockerfile
ADDED
|
@@ -0,0 +1,13 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
FROM ghcr.io/ggerganov/llama.cpp:server
|
| 2 |
+
|
| 3 |
+
# Kendi repona yüklediğin modelin linkini buraya veriyoruz
|
| 4 |
+
ENV MODEL_URL=https://huggingface.co/Fffffd/Llama-3.2-3B-Instruct-GGUF-bucket/resolve/main/Llama-3.2-3B-Instruct-Q4_K_M.gguf
|
| 5 |
+
|
| 6 |
+
# Model indirmek için wget kuruyoruz
|
| 7 |
+
RUN apt-get update && apt-get install -y wget
|
| 8 |
+
|
| 9 |
+
# Modeli sunucu içine çekiyoruz
|
| 10 |
+
RUN wget -O /model.gguf "${MODEL_URL}"
|
| 11 |
+
|
| 12 |
+
# API sunucusunu 7860 portunda (HF standardı) ateşliyoruz
|
| 13 |
+
CMD ["--model", "/model.gguf", "--host", "0.0.0.0", "--port", "7860", "--ctx-size", "2048"]
|