jacky3102 commited on
Commit
d5254b6
·
verified ·
1 Parent(s): 4c34536

Upload README.md with huggingface_hub

Browse files
Files changed (1) hide show
  1. README.md +64 -54
README.md CHANGED
@@ -1,59 +1,69 @@
1
  ---
2
- title: Qwen3 Agent LLM
3
- emoji: 🤖
4
- colorFrom: blue
5
- colorTo: purple
6
- sdk: docker
7
- app_port: 7860
 
8
  pinned: false
9
  license: apache-2.0
 
 
 
 
 
 
 
10
  ---
11
 
12
- Qwen3-4B Agent LLM Server (CPU Basic)
13
-
14
- 基于 llama.cpp 的 llama-server,一个端口同时提供:
15
-
16
- OpenAI 兼容 API: POST /v1/chat/completions(支持 tools=[...] 传入 function schema,--jinja 已启用 tool_calls 解析)
17
- 内置网页聊天界面: 访问 Space 根路径 / 即可
18
- 接入 OpenClaw LLM Gateway
19
-
20
- 把这个 Space 的 URL 作为一个 OpenAI-compatible endpoint 加入你的 provider 列表:
21
-
22
- base_url: https://<你的空间>.hf.space/v1
23
- api_key: "sk-anything" # llama-server 默认不校验 key,如需鉴权用 --api-key 参数加一个环境变量
24
- model: "qwen3-4b" # 随便填,llama-server 只加载了一个模型
25
- 测试 tool calling
26
- bash
27
- curl https://<你的空间>.hf.space/v1/chat/completions \
28
- -H "Content-Type: application/json" \
29
- -d '{
30
- "model": "qwen3-4b",
31
- "messages": [{"role": "user", "content": "现在几点了?"}],
32
- "tools": [{
33
- "type": "function",
34
- "function": {
35
- "name": "get_current_time",
36
- "description": "获取当前时间",
37
- "parameters": {"type": "object", "properties": {}}
38
- }
39
- }]
40
- }'
41
-
42
- 返回里应该能看到 tool_calls 字段指向 get_current_time。
43
-
44
- 换模型 / 调参(不用改代码)
45
-
46
- 在 Space 的 Settings → Variables 里改这几个环境变量,重启即可生效:
47
-
48
- 变量 默认值 说明
49
- MODEL_REPO Qwen/Qwen3-4B-Instruct-2507-GGUF HF上的GGUF仓库
50
- MODEL_QUANT Q4_K_M 量化等级,想更快可改 Q4_K_S,想更准可改 Q5_K_M
51
- CTX_SIZE 4096 上下文长度,越大越吃内存
52
- N_THREADS 2 对应免费CPU的2 vCPU
53
-
54
- 如果发现4B在实际请求里延迟太高(免费CPU下单条回复可能到几十秒),换成更轻的 tool-calling 模型: MODEL_REPO=Qwen/Qwen3-1.7B-Instruct-GGUF,MODEL_QUANT=Q4_K_M,速度会明显提升,牺牲一些复杂多步工具编排的准确率。
55
-
56
- 注意事项
57
- 免费 CPU Basic 无持久存储,每次容器重启都会重新从HF Hub下载模型(几GB,启动会慢1-2分钟属正常)。
58
- 免费 CPU Space 闲置48小时后会自动 sleep,首次请求会有冷启动延迟。
59
- 如果要长期稳定运行给OpenClaw做agent决策核心,建议这个Space仅作为次要/备用节点(和你现有的NIM/OpenRouter/Gemini网关搭配),不要单点依赖。
 
 
 
1
  ---
2
+ title: Comic Scene Generator
3
+ emoji: 🎨
4
+ colorFrom: purple
5
+ colorTo: pink
6
+ sdk: gradio
7
+ sdk_version: 5.0.0
8
+ app_file: app.py
9
  pinned: false
10
  license: apache-2.0
11
+ tags:
12
+ - stable-diffusion
13
+ - sdxl
14
+ - noobai
15
+ - manga
16
+ - anime
17
+ - cpu-basic
18
  ---
19
 
20
+ # Comic Scene Generator
21
+
22
+ 最小可用版:输入一句中文场景描述 → 自动扩写为适合 NoobAI-XL 的英文提示词 → 生成 640×960 漫画/二次元场景图。
23
+
24
+ ## 功能特性
25
+
26
+ - **Prompt 自动增强**:中文场景自动翻译 + 质量标签 + 风格标签(masterpiece, best quality, dynamic composition 等)
27
+ - **NoobAI-XL 1.1 SDNQ UINT4**:量化模型 ~2.56 GB,Diffusers 仓库 ~3.63 GB,适配 16GB RAM
28
+ - **CPU Basic 优化**:
29
+ - `low_cpu_mem_usage=True` 全链路
30
+ - VAE slicing + tiling
31
+ - Attention slicing
32
+ - `enable_model_cpu_offload()` 逐层卸载
33
+ - 单张生成,关闭并行
34
+ - **默认配置**:640×960、20 steps、Euler Ancestral、guidance 5.0
35
+ - **输出**:PNG 格式
36
+
37
+ ## 部署说明
38
+
39
+ 1. 在 Hugging Face 创建 **Gradio Space**(SDK: Gradio, Hardware: CPU Basic)
40
+ 2. 上传三个文件:`app.py`、`requirements.txt`、`README.md`
41
+ 3. 等待 Build 完成(首次下载模型约 3.6 GB)
42
+ 4. 打开网页,输入中文场景,点击 Generate
43
+
44
+ ## 使用示例
45
+
46
+ | 输入 | 风格 | 分辨率 | Steps |
47
+ |------|------|--------|-------|
48
+ | 一只愤怒的霸王龙站在暴雨中的史前森林里仰头怒吼,闪电照亮天空,低角度镜头,强烈的漫画构图,动态线条,丰富背景细节 | Manga / Anime | 640×960 | 20 |
49
+ | 赛博朋克城市夜晚,霓虹灯招牌倒映在湿漉漉的街道上,孤独的少女撑着透明伞,电影感构图 | Manga / Anime | 640×960 | 20 |
50
+ | 古风仙侠,白衣剑仙御剑飞行穿越云海,日出金光洒在云层上,宏大壮观,工笔画风 | Manga / Anime | 640×960 | 25 |
51
+
52
+ ## 性能预期 (CPU Basic: 2 vCPU / 16GB RAM)
53
+
54
+ | 分辨率 | Steps | 预估耗时 |
55
+ |--------|-------|----------|
56
+ | 640×960 | 20 | ~3-5 分钟 |
57
+ | 640×960 | 30 | ~5-7 分钟 |
58
+ | 512×768 | 20 | ~2-3 分钟 |
59
+
60
+ > 首次冷启动需额外下载模型权重(~3.6 GB),之后缓存复用。
61
+
62
+ ## 模型来源
63
+
64
+ - **NoobAI-XL/NoobAI-XL-1.1-SDNQ-UINT4** (Apache-2.0)
65
+ - SDNQ 量化:INT4 权重 + FP16 激活,体积约 1/3 原版
66
+
67
+ ## 许可证
68
+
69
+ Apache-2.0(遵循 NoobAI-XL 原模型许可)