fix: add environment variable references for LLAMA_API_KEY and HF_TOKEN in server.sh
Browse files
server.sh
CHANGED
|
@@ -17,6 +17,8 @@ sudo docker run -d --rm --name "${SERVER_CONTAINER_NAME}" --gpus all \
|
|
| 17 |
--ulimit memlock=-1:-1 \
|
| 18 |
-p "${SERVER_PORT}:${SERVER_INTERNAL_PORT}" \
|
| 19 |
-e "HF_HOME=/models" \
|
|
|
|
|
|
|
| 20 |
-v "${SRC_DIR}:/src" \
|
| 21 |
-v "${PRESETS_DIR}:/presets" \
|
| 22 |
-v "${MODELS_DIR}:/models" \
|
|
@@ -26,7 +28,5 @@ sudo docker run -d --rm --name "${SERVER_CONTAINER_NAME}" --gpus all \
|
|
| 26 |
--host "${SERVER_HOST}" \
|
| 27 |
--port "${SERVER_PORT}" \
|
| 28 |
--models-preset "/presets/${PRESET}" \
|
| 29 |
-
--log-file /presets/llama-server.log
|
| 30 |
-
--api-key "${LLAMA_API_KEY}" \
|
| 31 |
-
--hf-token "${HF_TOKEN}"
|
| 32 |
# --rpc "${RPC_HOSTS}:${RPC_PORT}"
|
|
|
|
| 17 |
--ulimit memlock=-1:-1 \
|
| 18 |
-p "${SERVER_PORT}:${SERVER_INTERNAL_PORT}" \
|
| 19 |
-e "HF_HOME=/models" \
|
| 20 |
+
-e "LLAMA_API_KEY=${LLAMA_API_KEY}" \
|
| 21 |
+
-e "HF_TOKEN=${HF_TOKEN}" \
|
| 22 |
-v "${SRC_DIR}:/src" \
|
| 23 |
-v "${PRESETS_DIR}:/presets" \
|
| 24 |
-v "${MODELS_DIR}:/models" \
|
|
|
|
| 28 |
--host "${SERVER_HOST}" \
|
| 29 |
--port "${SERVER_PORT}" \
|
| 30 |
--models-preset "/presets/${PRESET}" \
|
| 31 |
+
--log-file /presets/llama-server.log
|
|
|
|
|
|
|
| 32 |
# --rpc "${RPC_HOSTS}:${RPC_PORT}"
|