| # SageAttention — prebuilt Linux wheel |
|
|
| Собрано на поде RunPod, чтобы не ждать компиляцию на каждом новом поде. |
|
|
| | Компонент | Версия | |
| |--------------|--------| |
| | SageAttention| 2.2.0 (commit `d1a57a5`, ветка `main`) | |
| | PyTorch | 2.10.0 | |
| | CUDA | 13.0 | |
| | Python | cp312 | |
| | Архитектуры | 8.0;8.6;8.9;9.0;10.0;12.0;12.1 | |
| | Платформа | linux x86_64 | |
| |
| ## Установка |
| |
| ```bash |
| pip install https://huggingface.co/whitmoree530/BC/resolve/main/sageattention-2.2.0+cu130torch2.10.0sm80.86.89.90.100.120.121-cp312-cp312-linux_x86_64.whl |
| ``` |
| |
| ## Совместимость |
| |
| Мажор CUDA обязан совпадать (12 против 13), минор — не важен. |
| Версия torch должна совпадать до минорной, если колесо собрано с ветки |
| `main`; сборка с `abi3_stable` переживает любой torch >= 2.10. |
| Колесо содержит ядра только для перечисленных выше архитектур — на других |
| картах импорт пройдёт, а первый вызов упадёт или даст чёрный кадр. |
|
|
| ## Проверка после установки |
|
|
| ```python |
| import torch |
| from sageattention import sageattn |
| q, k, v = (torch.randn(1, 8, 512, 128, dtype=torch.float16, device="cuda") for _ in range(3)) |
| out = sageattn(q, k, v, tensor_layout="HND", is_causal=False) |
| ref = torch.nn.functional.scaled_dot_product_attention(q, k, v) |
| print(torch.isfinite(out).all().item(), (out - ref).abs().max().item()) |
| ``` |
|
|
| ## В ComfyUI |
|
|
| Не флагом `--use-sage-attention` (он поднимает Triton-бэкенд, на части |
| моделей даёт чёрный кадр), а нодой Patch Sage Attention KJ из KJNodes, |
| backend `sageattn_qk_int8_pv_fp16_cuda`. |
|
|
