Atlas3D
/

llama.cpp-sm70-cuda12.9

llama.cpp-sm70-cuda12.9 / sm70-flash-attention.patch

llama.cpp f74e2fa for NVIDIA Volta (sm_70), CUDA 12.9 — released 2026-10-20 with the Q5_1 caveat stated

0b864c5 verified 26 days ago

417 Bytes

--- a/ggml/src/ggml-cuda/fattn.cu
+++ b/ggml/src/ggml-cuda/fattn.cu
@@ -175,7 +175,8 @@
     }
 
     if constexpr (ncols2 <= 16) {
-        if (Q->ne[1] <= 16/ncols2) {
+        // Volta MMA kernels require at least 32 columns.
+        if (!volta_mma_available(cc) && Q->ne[1] <= 16/ncols2) {
             ggml_cuda_flash_attn_ext_mma_f16_case<DKQ, DV, 16/ncols2, ncols2>(ctx, dst);
             return;
         }

	--- a/ggml/src/ggml-cuda/fattn.cu
	+++ b/ggml/src/ggml-cuda/fattn.cu
	@@ -175,7 +175,8 @@
	}

	if constexpr (ncols2 <= 16) {
	- if (Q->ne[1] <= 16/ncols2) {
	+ // Volta MMA kernels require at least 32 columns.
	+ if (!volta_mma_available(cc) && Q->ne[1] <= 16/ncols2) {
	ggml_cuda_flash_attn_ext_mma_f16_case<DKQ, DV, 16/ncols2, ncols2>(ctx, dst);
	return;
	}