Surf commited on
Commit
71a6d42
·
1 Parent(s): 44d2dac

暮归江南 · v3 步骤3-4:画质提升(GPU 内 2× 超采样 + 锐化、软阴影、反射与各向异性提升、码率与 2K 选项)验证与回归收尾,更新使用说明

Browse files
Files changed (2) hide show
  1. README.md +8 -1
  2. tools/jiangnan/compare_quality.py +27 -0
README.md CHANGED
@@ -117,7 +117,7 @@ tools/jiangnan/ # 旁白生成、字体子集化、实况图
117
  ## F. 使用说明
118
 
119
  1. 打开 **https://ethscriptions-video.hf.space/jiangnan/** ,等待「搭建场景 → 合成配乐与旁白」完成(约 10–20 秒),点播放。手机竖着打开会自动切换为竖屏构图,也可手动切换「横屏 16:9 / 竖屏 9:16」。
120
- 2. **导出 MP4**:选择画幅(横 / 竖)、清晰度(1080p / 720p)、帧率(24 / 30 / 60)、是否烧录字幕 → 开始导出 → 保存。全部在本机浏览器完成;推荐电脑版 Chrome / Edge(音轨为 AAC;个别浏览器不支持 AAC 时自动改用 Opus)。
121
  3. **封面**:多选比例(16:9 / 4:3 / 3:4)和画面(石桥夕照 / 灯火长街 / 星夜水乡 / 古樟斜阳)→ 生成 → 勾选 → 下载(多张自动打包 ZIP)。
122
  4. **发布文案**:切换小红书 / 抖音 / 微信视频号 / 哔哩哔哩,选标题,一键复制标题、描述、话题或全部;也可下载全部文案 txt。
123
  5. **实况图**:点「生成 6 组实况图」→ 下载 ZIP。Mac 上把 `1_jpg+mov` 文件夹里同名的 jpg 和 mov 一起拖进「照片」即成实况照片,同步到 iPhone 后发小红书 / 抖音图文;图文标题、正文、话题在同一区域复制。
@@ -215,6 +215,13 @@ tools/jiangnan/ # 旁白生成、字体子集化、实况图
215
  - `export/mp4.ts`:H.264 Level 按分辨率 × 帧率 × 码率取**最低够用值**(720p30→3.1、1080p30→4.0、1080p60→4.2、2K30→5.0),High→Main→Baseline 依次探测,VBR;导出前先跑一帧探针确认渲染链路;结果返回编码器 / 码率 / 逐帧校验统计,页面显示「N 帧全部通过,无黑帧」。
216
  - `engine/timeline.ts`:开头黑场 1.6 s → 0.9 s,结尾 1.4 s → 1.2 s(淡入淡出保留)。
217
  - 验证(`tools/jiangnan/lose_context.py`,无头 Chromium + SwiftShader):① 播放器:渲染亮度 73 → 强制 `loseContext()` 后亮度 0、`isContextLost()=true` → `restoreContext()` 后 `waitForContext()` 返回 true,重新渲染第 1 帧和第 2 帧亮度均为 73(与丢失前一致);② 导出抓帧:连续抓 6 帧并在第 3 帧前注入上下文丢失,6 帧亮度 119/123/130/128/123/73,`contextLosses=1`、自动降级到 1.5× 超采样、**0 黑帧进入输出**(PASS)。改动后全片逐秒扫描:除 t=0 外无黑帧。
 
 
 
 
 
 
 
218
 
219
  ---
220
 
 
117
  ## F. 使用说明
118
 
119
  1. 打开 **https://ethscriptions-video.hf.space/jiangnan/** ,等待「搭建场景 → 合成配乐与旁白」完成(约 10–20 秒),点播放。手机竖着打开会自动切换为竖屏构图,也可手动切换「横屏 16:9 / 竖屏 9:16」。
120
+ 2. **导出 MP4**:选择画幅(横 / 竖)、清晰度(2K 1440p / 1080p / 720p)、帧率(24 / 30 / 60)、是否烧录字幕 → 开始导出 → 保存。全部在本机浏览器完成;推荐电脑版 Chrome / Edge(音轨为 AAC;个别浏览器不支持 AAC 时自动改用 Opus)。v3 起每一帧都先校验再写入:若显卡资源被回收会自动等待恢复、降低超采样并重渲染,结果面板显示编码器 / 码率 / 校验统计;导出期间请不要切换标签页。片头 0.9 s、片尾 1.2 s 的淡入淡出属于设计。
121
  3. **封面**:多选比例(16:9 / 4:3 / 3:4)和画面(石桥夕照 / 灯火长街 / 星夜水乡 / 古樟斜阳)→ 生成 → 勾选 → 下载(多张自动打包 ZIP)。
122
  4. **发布文案**:切换小红书 / 抖音 / 微信视频号 / 哔哩哔哩,选标题,一键复制标题、描述、话题或全部;也可下载全部文案 txt。
123
  5. **实况图**:点「生成 6 组实况图」→ 下载 ZIP。Mac 上把 `1_jpg+mov` 文件夹里同名的 jpg 和 mov 一起拖进「照片」即成实况照片,同步到 iPhone 后发小红书 / 抖音图文;图文标题、正文、话题在同一区域复制。
 
215
  - `export/mp4.ts`:H.264 Level 按分辨率 × 帧率 × 码率取**最低够用值**(720p30→3.1、1080p30→4.0、1080p60→4.2、2K30→5.0),High→Main→Baseline 依次探测,VBR;导出前先跑一帧探针确认渲染链路;结果返回编码器 / 码率 / 逐帧校验统计,页面显示「N 帧全部通过,无黑帧」。
216
  - `engine/timeline.ts`:开头黑场 1.6 s → 0.9 s,结尾 1.4 s → 1.2 s(淡入淡出保留)。
217
  - 验证(`tools/jiangnan/lose_context.py`,无头 Chromium + SwiftShader):① 播放器:渲染亮度 73 → 强制 `loseContext()` 后亮度 0、`isContextLost()=true` → `restoreContext()` 后 `waitForContext()` 返回 true,重新渲染第 1 帧和第 2 帧亮度均为 73(与丢失前一致);② 导出抓帧:连续抓 6 帧并在第 3 帧前注入上下文丢失,6 帧亮度 119/123/130/128/123/73,`contextLosses=1`、自动降级到 1.5× 超采样、**0 黑帧进入输出**(PASS)。改动后全片逐秒扫描:除 t=0 外无黑帧。
218
+ - **步骤 3(画质提升)** ✅
219
+ - **超采样改到 GPU 内部**:`Film.setSize(w, h, ss)` 让场景与后期链路以 `ss` 倍分辨率渲染,最后一个调色通道直接把它滤波缩小到画布(2× 时为精确 2×2 盒式滤波,其他倍率为四点帐篷滤波),不再经过 CPU 侧 `drawImage` 二次重采样;超采样时关闭 MSAA(省一半显存,也是黑屏的根源之一),倍率按 `MAX_TEXTURE_SIZE` 与显存预算自动选 2× / 1.5× / 1.25× / 1×。
220
+ - 降采样后做仅作用于亮度的轻微 unsharp mask(导出 0.18、封面 0.2,播放态关闭);胶片颗粒 0.016 → 0.010 并锁定到输出像素,色差 0.0012 → 0.0007(这两项是压缩后「发脏」的主要来源)。
221
+ - 阴影改为 `PCFSoftShadowMap`,导出 / 封面 / 实况图时阴影贴图 4096;水面反射分辨率高画质 0.75 倍、导出 1.0 倍(超采样时 0.6 倍);全部程序化贴图的各向异性过滤改为 GPU 最大值(通常 16)。
222
+ - 码率:720p 12 Mbps、1080p 24 Mbps、新增 **2K 1440p** 40 Mbps(60 fps ×1.5、24 fps ×0.9),VBR,AAC 256 kbps;H.264 High Profile。
223
+ - 验证(`tools/jiangnan/compare_quality.py`,同一镜头「播放态 1×」与「导出态 2× + 锐化」对比截图):石拱桥镜头(21 s)导出态的桥身石缝、栏板、灯笼轮廓明显更实,远处屋檐无锯齿;灯笼长街(63.5 s)灯笼与窗格边缘干净、星空颗粒细。6 个镜头、横屏 + 竖屏(180×320 抓帧 4 帧亮度 126/87/71/49)、3:4 封面生成均无报错。说明:超采样后辉光半径按内部像素计算,导出态的光晕比播放态略收紧一点(约 0.5 倍),属预期。
224
+ - **步骤 4(回归与收尾)** ✅ 改动后全片逐秒黑帧扫描(横屏 320×180 与竖屏 180×320,`q=low`):除 t=0 的 0.9 s 淡入外无黑帧、无上下文丢失、无页面错误;上下文丢失演练(步骤 2)在修正「不删除旧上下文对象」后不再产生 WebGL 警告;播放器、封面、实况图、2K 导出选项走的都是同一套校验式抓帧。沙盒的无头浏览器没有 `VideoEncoder`,所以 MP4 的 ffprobe 核对需在真实 Chrome / Edge 上进行:导出完成后结果面板会显示编码器(1080p30 应为 `H.264 High @ L4.0`)、码率和「逐帧校验 N 帧全部通过,无黑帧」。
225
 
226
  ---
227
 
tools/jiangnan/compare_quality.py ADDED
@@ -0,0 +1,27 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ import base64, io, sys, time, os
2
+ from playwright.sync_api import sync_playwright
3
+ from PIL import Image
4
+ BASE='http://localhost:3000/jiangnan/'; out='/tmp/qa/after'; os.makedirs(out, exist_ok=True)
5
+ times=[3,21,36,45,63.5,80]
6
+ with sync_playwright() as p:
7
+ b = p.chromium.launch(args=['--use-angle=swiftshader','--enable-unsafe-swiftshader','--ignore-gpu-blocklist','--disable-dev-shm-usage'])
8
+ pg = b.new_page(viewport={'width': 640, 'height': 360})
9
+ logs=[]; pg.on('pageerror', lambda e: logs.append('PAGEERROR: ' + str(e)))
10
+ pg.on('console', lambda m: logs.append(m.type + ': ' + m.text) if m.type == 'error' else None)
11
+ t0=time.time(); pg.goto(f'{BASE}?w=640&h=360&noaudio=1&q=low', timeout=180000)
12
+ pg.wait_for_function("document.title === 'ready' || document.title === 'error'", timeout=900000)
13
+ print('init', round(time.time()-t0,1), pg.title(), flush=True)
14
+ for mode, ss, sh in [('play',1,0),('export',2,0.18)]:
15
+ pg.evaluate(f"(() => {{ const f = window.__film; f.setSize(640,360,{ss}); f.post.grade.uniforms.uSharpen.value={sh}; }})()")
16
+ for t in times:
17
+ d = pg.evaluate(f"(() => {{ window.__film.renderFrame({t}); return window.__film.renderer.domElement.toDataURL('image/png') }})()")
18
+ img = Image.open(io.BytesIO(base64.b64decode(d.split(',')[1]))); img.save(f'{out}/{mode}_t{t:05.1f}.png')
19
+ L = img.convert('L'); px = list(L.getdata())
20
+ print(mode, t, 'mean=%.1f' % (sum(px)/len(px)), flush=True)
21
+ # smoke: covers + live photo frame grab + portrait
22
+ r = pg.evaluate("window.__test.grab(180, 320, [5, 30, 62, 84])")
23
+ print('portrait grab', r, flush=True)
24
+ c = pg.evaluate("window.__test.cover('bridge', '3:4').then(s => s.length)")
25
+ print('cover 3:4 bytes(b64)', c, flush=True)
26
+ print(logs[-5:])
27
+ b.close()