Instructions to use BAAI/Brainmu-SpikeCamera with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use BAAI/Brainmu-SpikeCamera with Transformers:
# pip install -U transformers accelerate # Load model directly from transformers import SpikeConvFrontend model = SpikeConvFrontend.from_pretrained("BAAI/Brainmu-SpikeCamera", device_map="auto") - Notebooks
- Google Colab
- Kaggle
|
Download src/USAGE.md from BAAI/Brainmu-SpikeCamera: direct link, hf CLI and curl.
- Browser
- Download file 1.96 kB
-
https://huggingface.co/BAAI/Brainmu-SpikeCamera/resolve/main/src/USAGE.md
- Command line
-
hf download hf://BAAI/Brainmu-SpikeCamera/src/USAGE.md
-
curl -L -o USAGE.md https://huggingface.co/BAAI/Brainmu-SpikeCamera/resolve/main/src/USAGE.md
1.96 kB
| # 小网络使用说明 | |
| 发布结构:根目录的 `config.json` 和 `model.safetensors` 对应卷积重建小网络(180,705 个参数),`src/` 内包含小网络与可选 Brainμ 生成阶段代码。基础大模型和 LoRA 权重不包含在发布包中。 | |
| 本仓库使用项目自定义加载器,不声明支持 Transformers `AutoModel.from_pretrained`。网络构建与 DAT 解码读取根目录配置,权重使用 safetensors 加载,并校验默认文件的 SHA256 与参数形状。 | |
| ## 下载及 CPU 推理 | |
| ```bash | |
| hf download BAAI/Brainmu-Spike --local-dir ./Brainmu-Spike | |
| cd Brainmu-Spike | |
| uv venv --python 3.12 .venv | |
| source .venv/bin/activate | |
| uv pip install torch --index-url https://download.pytorch.org/whl/cpu | |
| uv pip install numpy==1.26.4 opencv-python-headless==4.11.0.86 Pillow==11.3.0 safetensors==0.4.5 | |
| python src/scripts/infer_frontend.py \ | |
| --spike-dir /path/to/spike \ | |
| --gt-dir /path/to/gt \ | |
| --output-dir outputs/frontend_test \ | |
| --device cpu | |
| ``` | |
| Windows PowerShell 的激活命令为 `.\.venv\Scripts\Activate.ps1`。也可以不激活,直接调用 `.venv` 内的 Python。 | |
| 每条 DAT 包含 41 × 250 × 400 二值数据,little-bit 打包,共 512,500 字节;读取后沿高度翻转。GT 为同名 400 × 250 PNG。省略 `--gt-dir` 则只输出图像,不计算指标;`--limit 3` 可试跑前三张。 | |
| 默认权重是根目录 `model.safetensors`;`--config` 和 `--checkpoint` 可以显式覆盖。使用新输出目录。旧 `.pt` 训练权重仍可通过 `--checkpoint` 加载,但应只使用可信来源。 | |
| ## 其他代码 | |
| 其余训练、数据导出、网页及生成阶段脚本位于 `src/`。运行旧训练流程时以 `src/` 为工作目录;`BRAINMU_WORKDIR` 决定数据及训练输出目录。执行 `bash src/scripts/setup_uv.sh` 时完整环境默认创建于 `src/.venv`,与以上根目录的轻量环境不同。 | |
| 许可证与上游声明位于 `src/LICENSE` 和 `src/NOTICE`。 | |