Spaces:
Paused
Paused
fix: compilar llama-cpp con 1 nvcc a la vez (PARALLEL_LEVEL=1) para evitar OOM
Browse files- Dockerfile +4 -3
Dockerfile
CHANGED
|
@@ -27,10 +27,11 @@ RUN pip3 install --no-cache-dir torch torchvision \
|
|
| 27 |
--index-url https://download.pytorch.org/whl/cu121
|
| 28 |
|
| 29 |
# llama-cpp-python COMPILADO desde fuente con CUDA (arch 75 = Tesla T4).
|
| 30 |
-
# CMAKE_BUILD_PARALLEL_LEVEL=
|
| 31 |
-
#
|
|
|
|
| 32 |
RUN CMAKE_ARGS="-DGGML_CUDA=on -DCMAKE_CUDA_ARCHITECTURES=75" \
|
| 33 |
-
CMAKE_BUILD_PARALLEL_LEVEL=
|
| 34 |
pip3 install --no-cache-dir llama-cpp-python==0.3.2
|
| 35 |
|
| 36 |
# Resto de dependencias de la app
|
|
|
|
| 27 |
--index-url https://download.pytorch.org/whl/cu121
|
| 28 |
|
| 29 |
# llama-cpp-python COMPILADO desde fuente con CUDA (arch 75 = Tesla T4).
|
| 30 |
+
# CMAKE_BUILD_PARALLEL_LEVEL=1 → un solo nvcc a la vez. Los kernels mmq/fattn son
|
| 31 |
+
# muy pesados en RAM; con 2 en paralelo el builder de HF moría por OOM. Más lento
|
| 32 |
+
# pero a prueba de OOM.
|
| 33 |
RUN CMAKE_ARGS="-DGGML_CUDA=on -DCMAKE_CUDA_ARCHITECTURES=75" \
|
| 34 |
+
CMAKE_BUILD_PARALLEL_LEVEL=1 FORCE_CMAKE=1 \
|
| 35 |
pip3 install --no-cache-dir llama-cpp-python==0.3.2
|
| 36 |
|
| 37 |
# Resto de dependencias de la app
|