SamilG2 commited on
Commit
cd159ce
·
1 Parent(s): 30656f2

fix: compilar llama-cpp con 1 nvcc a la vez (PARALLEL_LEVEL=1) para evitar OOM

Browse files
Files changed (1) hide show
  1. Dockerfile +4 -3
Dockerfile CHANGED
@@ -27,10 +27,11 @@ RUN pip3 install --no-cache-dir torch torchvision \
27
  --index-url https://download.pytorch.org/whl/cu121
28
 
29
  # llama-cpp-python COMPILADO desde fuente con CUDA (arch 75 = Tesla T4).
30
- # CMAKE_BUILD_PARALLEL_LEVEL=2 limita los nvcc en paralelo para NO agotar la RAM
31
- # del builder de HF (con el paralelismo por defecto el build moría por OOM).
 
32
  RUN CMAKE_ARGS="-DGGML_CUDA=on -DCMAKE_CUDA_ARCHITECTURES=75" \
33
- CMAKE_BUILD_PARALLEL_LEVEL=2 FORCE_CMAKE=1 \
34
  pip3 install --no-cache-dir llama-cpp-python==0.3.2
35
 
36
  # Resto de dependencias de la app
 
27
  --index-url https://download.pytorch.org/whl/cu121
28
 
29
  # llama-cpp-python COMPILADO desde fuente con CUDA (arch 75 = Tesla T4).
30
+ # CMAKE_BUILD_PARALLEL_LEVEL=1 → un solo nvcc a la vez. Los kernels mmq/fattn son
31
+ # muy pesados en RAM; con 2 en paralelo el builder de HF moría por OOM. Más lento
32
+ # pero a prueba de OOM.
33
  RUN CMAKE_ARGS="-DGGML_CUDA=on -DCMAKE_CUDA_ARCHITECTURES=75" \
34
+ CMAKE_BUILD_PARALLEL_LEVEL=1 FORCE_CMAKE=1 \
35
  pip3 install --no-cache-dir llama-cpp-python==0.3.2
36
 
37
  # Resto de dependencias de la app