Spaces:
Paused
Paused
Surf commited on
Commit ·
d565337
1
Parent(s): b02b26f
暮归江南 · v3 步骤1:写入黑屏修复与画质提升的计划、大纲、步骤(README)
Browse files
README.md
CHANGED
|
@@ -144,6 +144,71 @@ tools/jiangnan/ # 旁白生成、字体子集化、实况图
|
|
| 144 |
- **模型**:村民、牛车、白鹭改为骨骼蒙皮模型(每个角色一次绘制):车削建模的上衣、长衫、袖口、手、头部五官轮廓、发髻与蓝印花布头巾、竹编斗笠(内外两层)、扁担与箩筐;牛有桶形身体、肩峰、垂皮、口鼻、弯角、耳朵、尾巴、蹄子,走路时四腿交替、头尾摆动,车轮带辐条;白鹭有 S 形颈和带飞羽的翅膀。临街临河民居的屋面改为真实起伏的阴阳瓦(近处立体、远处自动淡化防锯齿),檐口加瓦当与滴水;门两侧贴红春联与横批,店铺挂黑底金字店招(米铺、茶馆、酱园、布庄、药铺、豆腐坊、酒坊、竹器),门口有水缸、柴垛、盆栽。
|
| 145 |
|
| 146 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 147 |
---
|
| 148 |
|
| 149 |
# 项目一(原有,保留不动)
|
|
|
|
| 144 |
- **模型**:村民、牛车、白鹭改为骨骼蒙皮模型(每个角色一次绘制):车削建模的上衣、长衫、袖口、手、头部五官轮廓、发髻与蓝印花布头巾、竹编斗笠(内外两层)、扁担与箩筐;牛有桶形身体、肩峰、垂皮、口鼻、弯角、耳朵、尾巴、蹄子,走路时四腿交替、头尾摆动,车轮带辐条;白鹭有 S 形颈和带飞羽的翅膀。临街临河民居的屋面改为真实起伏的阴阳瓦(近处立体、远处自动淡化防锯齿),檐口加瓦当与滴水;门两侧贴红春联与横批,店铺挂黑底金字店招(米铺、茶馆、酱园、布庄、药铺、豆腐坊、酒坊、竹器),门口有水缸、柴垛、盆栽。
|
| 145 |
|
| 146 |
|
| 147 |
+
---
|
| 148 |
+
|
| 149 |
+
## H. v3 优化:导出黑屏修复 + 画质提升 —— 计划、大纲、步骤(先写后做)
|
| 150 |
+
|
| 151 |
+
> 本节在动手改代码之前写好。每完成一个大步骤就推送到 Space `Ethscriptions/video`,并在「H.6 进度日志」追加记录,直到全部完成。
|
| 152 |
+
|
| 153 |
+
### H.1 问题
|
| 154 |
+
|
| 155 |
+
1. **输出的视频经常黑屏**:导出的 MP4 整段或大段是黑的(有时只有声音),或播放器画面突然变黑。
|
| 156 |
+
2. **画质不够**:边缘锯齿 / 细节抖、压缩块、颗粒糊、夜景发闷。
|
| 157 |
+
|
| 158 |
+
### H.2 原因分析(阅读 `src/jiangnan/export/mp4.ts`、`engine/Film.ts`、`engine/post.ts` 后的判断,待实测验证)
|
| 159 |
+
|
| 160 |
+
| # | 可能原因 | 证据 / 机理 | 会造成的现象 |
|
| 161 |
+
|---|---------|------------|------------|
|
| 162 |
+
| A | **WebGL 上下文丢失(context lost)没有处理** | 导出时画布放大到 1.5 倍(1080p → 2880×1620),后期链路是 HalfFloat + 4×MSAA 的多个全尺寸渲染目标(composer 读写缓冲 ×2、辉光金字塔、浮点深度、反射贴图),显存占用数百 MB;集显 / 手机 / 多标签页时 GPU 会把上下文回收。代码里没有 `webglcontextlost / restored` 处理,上下文一丢,之后每一帧 `drawImage` 得到的都是全黑,但导出照常编码、照常「成功」 | 导出的视频从某一帧起全黑直到结束;网页播放器也黑 |
|
| 163 |
+
| B | **逐帧没有校验** | 导出循环把画布直接送进编码器,不检查画面是否是黑的 | 黑帧被原样写进 MP4 |
|
| 164 |
+
| C | **H.264 Level 选得太高** | 编码器候选顺序是 `avc1.640034`(High 5.2)优先。1080p30 只需要 Level 4.0,很多手机 / 微信 / 视频号内置播放器、旧硬解对 ≥5.1 的流会解码失败 | 文件能播声音,画面黑 |
|
| 165 |
+
| D | **导出中切到后台 / 遮挡标签页** | `preserveDrawingBuffer: false` + 后台定时器节流;部分浏览器会丢弃隐藏页面的 WebGL 后备缓冲 | 导出很慢,或出现整段黑 |
|
| 166 |
+
| E | **开头 1.6 s / 结尾 1.4 s 黑场** | `fadeBlack()` 的设计淡入淡出 | 不是 bug,但要在界面写明,并缩短开头黑场 |
|
| 167 |
+
| F | **画质**:MSAA 与超采样重复开销、胶片颗粒 0.016 + 色差偏大(压缩后变脏)、1080p 码率 14 Mbps 偏低、阴影 PCF 硬边、水面反射只有 0.5 倍分辨率、纹理各向异性固定 8 | — | 锯齿 / 抖动 / 块状 / 发糊 |
|
| 168 |
+
|
| 169 |
+
### H.3 方案(怎么做)
|
| 170 |
+
|
| 171 |
+
**黑屏(目标:任何情况下导出的 MP4 里都不出现非设计的黑帧)**
|
| 172 |
+
|
| 173 |
+
1. `Film`:监听 `webglcontextlost`(阻止默认行为以允许恢复)和 `webglcontextrestored`;恢复后重新烘焙天光(PMREM 缓存全部作废)、重建后期链路、重置阴影取景,标记画面需要重绘;播放器显示「显卡已恢复」提示。
|
| 174 |
+
2. 导出循环:
|
| 175 |
+
- 每一帧渲染后,把画面缩成 32×18 读回,计算最大亮度;在不该黑的时刻(`fadeBlack(t) < 0.98`)如果画面全黑 → 判定为坏帧:检查 `isContextLost()`,等待恢复(最多 15 s),重建资源后**重渲染该帧**,最多重试 3 次;仍黑则中止导出并报错,而不是输出黑视频。
|
| 176 |
+
- 新增「安全模式」自动降级:当上下文丢失一次后,后续超采样倍率降为 1.0、关闭 MSAA,减少显存。
|
| 177 |
+
- 导出期间按显存预算决定超采样倍率(`MAX_RENDERBUFFER_SIZE`、总像素预算),而不是固定 1.5 / 2。
|
| 178 |
+
- 导出前先做一次「探针帧」(渲染 + 读回)确认链路正常。
|
| 179 |
+
- 页面隐藏时(`visibilitychange`)暂停编码循环,回到前台再继续;界面提示「导出中请不要切换标签页」。
|
| 180 |
+
3. H.264 配置:按分辨率 × 帧率选**最低够用的 Level**(720p30 → 3.1,1080p30 → 4.0,1080p60 → 4.2),High → Main → Baseline 依次尝试;`bitrateMode: 'variable'`。
|
| 181 |
+
4. 开头黑场由 1.6 s 缩短为 0.9 s(淡入保留);导出面板注明「片头 / 片尾各有不到 1 秒的淡入淡出」。
|
| 182 |
+
5. 封面与实况图使用同一套「渲染 → 读回校验 → 必要时重试」的函数。
|
| 183 |
+
|
| 184 |
+
**画质**
|
| 185 |
+
|
| 186 |
+
1. 导出改为 **2× 超采样 + 关闭 MSAA**(显存不足时自动 1.5× / 1×;超采样本身就是抗锯齿,不再重复付 MSAA 成本���,降采样用高质量滤波,再做一次轻微锐化(unsharp mask,仅导出 / 封面)。
|
| 187 |
+
2. 码率:1080p30 ≈ 24 Mbps、1080p60 ≈ 36 Mbps、720p30 ≈ 12 Mbps,VBR,关键帧间隔 2 s;音频 AAC 256 kbps。
|
| 188 |
+
3. 阴影:`PCFSoftShadowMap`,导出 / 高画质时阴影贴图 4096。
|
| 189 |
+
4. 水面反射分辨率:高画质 0.75 倍、导出 1.0 倍。
|
| 190 |
+
5. 纹理各向异性改为 GPU 支持的最大值(通常 16)。
|
| 191 |
+
6. 调色:胶片颗粒 0.016 → 0.010、色差减半;夜景镜头(8–10)曝光微调,避免发闷;辉光阈值保持。
|
| 192 |
+
7. 新增导出清晰度选项「2K(2560×1440)」供高性能机器使用(自动显存探测,不够则提示)。
|
| 193 |
+
|
| 194 |
+
### H.4 步骤(每步完成即推送)
|
| 195 |
+
|
| 196 |
+
1. 写本计划(本节)→ 推送。
|
| 197 |
+
2. 黑屏修复:上下文丢失恢复、逐帧校验与重试、显存预算、Level 选择、后台暂停、开头黑场缩短 → 无头浏览器全片逐秒扫描 + 用 `WEBGL_lose_context` 人为丢失上下文验证恢复 → 推送。
|
| 198 |
+
3. 画质提升:2× 超采样 + 锐化、码率、软阴影、反射分辨率、各向异性、颗粒 / 色差、2K 选项 → 逐镜头对比截图 → 推送。
|
| 199 |
+
4. 回归检查:横 / 竖屏、三档画质、封面、实况图、导出(有编码器的环境下用 ffprobe 核对 Level / 码率 / 无黑帧)→ 更新使用说明 → 最终推送。
|
| 200 |
+
|
| 201 |
+
### H.5 验证方法
|
| 202 |
+
|
| 203 |
+
- `tools/jiangnan/scan_black.py`:无头 Chromium 逐 0.5 s 渲染全片(横 / 竖屏),统计每帧平均 / 最大亮度,列出所有「非设计黑帧」。
|
| 204 |
+
- `tools/jiangnan/lose_context.py`:播放中强制 `loseContext()`,2 s 后 `restoreContext()`,确认画面恢复且亮度正常。
|
| 205 |
+
- `tools/jiangnan/analyze.py`:逐镜头输出亮度图与构图图,前后对比。
|
| 206 |
+
- 导出文件:`ffprobe` 检查 profile / level / 码率,`ffmpeg` 逐帧 `blackdetect`。
|
| 207 |
+
|
| 208 |
+
### H.6 进度日志(v3)
|
| 209 |
+
|
| 210 |
+
- **步骤 1** ✅ 写好 v3 优化计划(本节),推送到 Space。
|
| 211 |
+
|
| 212 |
---
|
| 213 |
|
| 214 |
# 项目一(原有,保留不动)
|