Ethscriptions commited on
Commit
f9941fc
·
verified ·
1 Parent(s): 55311f3

暮归江南 · 步骤1:写入项目计划、大纲、步骤(README)

Browse files
Files changed (1) hide show
  1. README.md +115 -0
README.md CHANGED
@@ -8,6 +8,121 @@ app_port: 3000
8
  pinned: false
9
  ---
10
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
11
  # 黑街 BLACK STREET — 浏览器实时渲染 MV
12
 
13
  > 音乐:《黑街 (DJ葱姜蒜进行曲)》 — DJ鐘董
 
8
  pinned: false
9
  ---
10
 
11
+ # 项目二(新增)·《暮归江南》—— 日落时分的江南水乡
12
+
13
+ > 访问地址:**https://ethscriptions-video.hf.space/jiangnan/**
14
+ > 形式:网页实时 3D 渲染的电影感动画(不是预渲染 mp4),带配乐、音效、旁白和字幕;可在浏览器本地导出 MP4(横屏 / 竖屏,24 / 30 / 60 帧)。
15
+ > 说明:这是**新增**项目,代码全部放在 `jiangnan/`、`src/jiangnan/`、`blender/`、`tools/jiangnan/` 等新目录。仓库原有项目(下文「项目一」)一个文件都不删,只在 `vite.config.ts` 里加一个页面入口、在 `package.json` 里加依赖。
16
+ > 本项目没有参考仓库里已有的任何代码、视频或文案,全部从零制作。
17
+
18
+ ---
19
+
20
+ ## A. 监督说明
21
+
22
+ 本节在写任何代码之前写好:先写计划、大纲、步骤、过程和做法,再动手。
23
+ 每完成一个大动作,就推送到 Hugging Face Space `Ethscriptions/video`,并在本节末尾的「进度日志」追加一条,直到全部完成。
24
+
25
+ ---
26
+
27
+ ## B. 需求清单与实现方式
28
+
29
+ | # | 需求 | 实现方式 |
30
+ |---|------|----------|
31
+ | 1 | 用 Blender 从零做写实、电影感的江南水乡日落动画 | 两条线并行:①**网页实时 3D 引擎**(WebGL / Three.js,全部程序化建模,不用外部模型和贴图素材),负责网页播放与本地导出;②**Blender 场景脚本** `blender/jiangnan_village.py`,在 Blender 4.x 中一键生成同一村落布局、材质、灯光、日落→夜晚的关键帧和镜头,可用 Cycles 离线渲染 4K |
32
+ | 2 | 场景元素 | 青山谷地、蜿蜒小河、粉墙黛瓦的徽派民居(马头墙、飞檐翘角)、红灯笼石板街集市(竹篮、陶罐、腊肉)、半圆石拱桥与倒影、老水车、乌篷船、村口古樟树 + 石碾 + 石凳、远山梯田、竹林、山上小亭、炊烟、牛车、挑担村民、竹竿上的蓝印花布、白鹭与归鸟、灯笼与窗灯依次点亮、水中灯影、星空与薄暮霭 |
33
+ | 3 | 音效 + 音乐 + 旁白 | 配乐:浏览器端程序化合成的五声音阶原创曲(古筝拨弦用 Karplus-Strong 物理建模、竹笛、弦乐铺底、低音、铃);音效:流水、水车吱呀与溅水、竹林风声、鸟鸣、白鹭振翅、牛铃与车轮、远处钟声、蛙鸣、虫鸣;旁白:原创解说词,中文神经网络语音合成,带同步字幕;三者实时混音(旁白时音乐自动压低) |
34
+ | 4 | 网页直接看视频效果 | 播放器:播放 / 暂停 / 拖动进度 / 分镜跳转 / 字幕开关 / 音量 / 全屏 |
35
+ | 5 | 网页导出 MP4(浏览器本地渲染) | WebCodecs `VideoEncoder`(H.264)+ `AudioEncoder`(AAC,不支持时改用 Opus)+ `mp4-muxer` 封装;逐帧离线渲染(与实时帧率无关,不掉帧);音轨用 `OfflineAudioContext` 离线混音后编码 |
36
+ | 6 | 手机竖屏 | 横屏 16:9(1920×1080)与竖屏 9:16(1080×1920)两套构图:每个镜头有竖屏专用机位 / 视场角;手机竖着打开时自动切到竖屏 |
37
+ | 7 | 导出帧率 24 / 30 / 60 可选 | 导出面板可选帧率、画幅、清晰度(720p / 1080p) |
38
+ | 8 | 四个平台的标题、描述、标签(可复制) | 小红书(标题 ≤20 字、≤10 个话题)、抖音(标题 ≤30 字、≤5 个话题)、微信视频号(标题 ≤16 字、话题不限)、哔哩哔哩(标题 ≤80 字、≤10 个标签);每个平台多套标题可选,实时字数校验,一键复制 |
39
+ | 9 | 封面 4:3 / 3:4 / 16:9,每个比例多张,可多选 | 用同一 3D 场景、按封面专用机位重新渲染(不是截图拉伸),叠加书法标题排版;每个比例 4 张,勾选后单张下载或打包 ZIP |
40
+ | 10 | 用 LiveCanvas skill 做多个实况图(jpg + mov),网页提供压缩包 | 按 skill 规范:3:4(1080×1440)、30 fps、约 3 秒、无声 H.264;封面取自同一段动画中的停留帧;把 skill 的 Python 配对器(JPEG Apple MakerNote tag 17 + MOV `com.apple.quicktime.content.identifier` + `mebx` still-image-time 时间元数据轨)按字节结构移植为浏览器端 TypeScript,在浏览器里生成 6 组 `同名.jpg + 同名.mov`,另附 `.pvt` 实况资源包与 manifest,打成 ZIP 下载;并在沙盒中用 skill 原版 Python 校验器读回验证 |
41
+ | 11 | 小红书 / 抖音图文的标题、正文、标签 | 网页「实况图」区提供,一键复制 |
42
+
43
+ ---
44
+
45
+ ## C. 分镜大纲(约 84 秒,时间随日落推进)
46
+
47
+ | # | 时间 | 镜头 | 画面内容 | 旁白(原创) |
48
+ |---|------|------|----------|------|
49
+ | 1 | 0–9 s | 航拍 · 缓慢下降推进 | 群山环抱的山谷,夕阳贴着远山,薄雾在谷底流动,村落与小河初现;片名「暮归江南」 | 江南的黄昏,总是来得很慢。 |
50
+ | 2 | 9–17 s | 贴水面滑行 | 沿蜿蜒小河前进,乌篷船泊在岸边,水面金光粼粼 | 一条小河,把整座村子轻轻揽在怀里。 |
51
+ | 3 | 17–25 s | 石拱桥 · 低机位横移 | 半圆拱桥与倒影合成满月,挑担的村民过桥,白鹭掠过水面 | 石桥弯成半个月亮,水里,再补上另外半个。 |
52
+ | 4 | 25–32 s | 水车特写 | 老水车缓缓转动,水花从叶板上洒落 | 老水车吱呀吱呀地转,把一天的光阴,一勺一勺舀回河里。 |
53
+ | 5 | 32–40 s | 石板街集市 · 跟拍 | 屋檐下一排未点亮的红灯笼,竹篮、陶罐、腊肉,牛车与行人缓缓走过 | 集市还没散。竹篮、陶罐、檐下的腊肉,都染上了夕阳的颜色。 |
54
+ | 6 | 40–48 s | 村口古樟树 | 巨大樟树、石碾、石凳,竹竿上的蓝印花布随风轻摆,逆光 | 村口的老樟树站了几百年,看着人们挑着担子出去,又挑着担子回来。 |
55
+ | 7 | 48–55 s | 远山梯田 · 长焦摇 | 层层梯田与竹林、山上小亭,归鸟飞回竹林,太阳落山 | 远山的梯田一层层暗下去,白鹭,也该回竹林了。 |
56
+ | 8 | 55–65 s | 屋檐长街 · 蓝调时刻 | 炊烟袅袅,灯笼与窗灯一盏接一盏亮起 | 炊烟升起来的时候,第一盏灯笼亮了。一盏,接着一盏。 |
57
+ | 9 | 65–74 s | 夜河倒影 | 灯火落进河里,乌篷船挂灯驶过,水面拉出长长的光影 | 灯火落进河里,整条河,都暖了。 |
58
+ | 10 | 74–84 s | 升降大全景收尾 | 镜头拉起,整座村庄在初现的星光和薄暮霭里散发温暖的光;片尾字幕 | 星星出来了。水乡睡在一层薄薄的雾里——这里,是家的方向。 |
59
+
60
+ ---
61
+
62
+ ## D. 技术架构
63
+
64
+ ```
65
+ jiangnan/index.html # 新页面入口(/jiangnan/)
66
+ src/jiangnan/
67
+ main.tsx # 挂载
68
+ JiangnanApp.tsx # 页面:播放器 + 导出 + 封面 + 文案 + 实况图
69
+ jiangnan.css # 页面样式(独立作用域)
70
+ engine/ # 实时 3D 引擎
71
+ rng.ts # 可复现的随机数与噪声(导出与播放画面一致)
72
+ timeline.ts # 分镜、日落进度、字幕时间
73
+ sky.ts # 天空:太阳、晚霞、蓝调、星空
74
+ terrain.ts # 山谷地形、远山层次、梯田、竹林、小亭
75
+ water.ts # 河道与反射水面、涟漪、灯影
76
+ village.ts # 徽派民居生成器(粉墙、马头墙、黛瓦、飞檐、窗灯)
77
+ props.ts # 石拱桥、水车、乌篷船、集市摊位、古樟、石碾、晾布
78
+ life.ts # 村民、牛车、白鹭归鸟、炊烟、灯笼点亮
79
+ textures.ts # 全部程序化贴图(瓦片、墙面污渍、石板、木纹、蓝印花布)
80
+ post.ts # 后期:辉光、雾、色调映射、暗角、胶片颗粒
81
+ camera.ts # 横 / 竖屏两套机位
82
+ renderer.ts # 统一渲染入口 render(t, 画幅)
83
+ audio/ # 合成器、配乐、音效、离线混音
84
+ export/ # MP4 导出、封面、实况图(QuickTime 写入器 + Apple 元数据 + .pvt)
85
+ copy/ # 各平台标题、描述、标签与字数限制
86
+ assets/voice/*.mp3 # 旁白语音(神经网络 TTS 生成)
87
+ assets/fonts/*.woff2 # 按用字子集化的开源中文字体(OFL)
88
+ blender/jiangnan_village.py # Blender 场景生成脚本(同一村落,离线渲染用)
89
+ tools/jiangnan/ # 旁白生成、字体子集化、实况图校验脚本
90
+ ```
91
+
92
+ ### 关键做法
93
+
94
+ 1. **确定性渲染**:所有动画都是时间 `t` 的纯函数(不用 `Date.now`、不累积状态,随机数固定种子),所以实时播放、导出 MP4、封面、实况图看到的是同一画面。
95
+ 2. **写实感来源**:PBR 材质 + ACES 色调映射;由太阳高度驱动的天空散射色;高度雾 + 距离雾做出空气透视;平面反射水面(拱桥与倒影成圆);软阴影;灯笼 / 窗灯辉光;暗角、胶片颗粒和轻微色差;镜头运动全部用缓动曲线(模拟摇臂 / 滑轨)。
96
+ 3. **竖屏适配**:每个镜头定义横屏与竖屏两组机位,竖屏让主体落在画面中上部,字幕位置也随画幅调整。
97
+ 4. **导出**:逐帧 `render(t)` → `VideoFrame` → H.264 编码;整条音轨离线渲染后编码;`mp4-muxer` 写 MP4,全部在浏览器本地完成,不上传服务器。
98
+ 5. **实况图**:按 LiveCanvas skill 的规范及其 Python 配对器的字节结构移植到浏览器;生成后在沙盒用 skill 原版 `inspect_live_jpeg / inspect_live_mov / verify_pair` 读回校验。
99
+
100
+ ---
101
+
102
+ ## E. 实施步骤
103
+
104
+ 1. 写本计划 → 推送
105
+ 2. 渲染引擎骨架:页面入口、时间轴、天空、地形、水面、相机、后期 → 推送
106
+ 3. 村落与道具:民居、石拱桥、水车、乌篷船、集市、古樟、梯田竹林小亭 → 推送
107
+ 4. 生命感:村民、牛车、鸟群、炊烟、晾布、灯笼依次点亮、星空暮霭;横 / 竖屏机位 → 推送
108
+ 5. 声音:旁白(TTS + 字幕)、原创配乐、环境音效、混音 → 推送
109
+ 6. 播放器与 MP4 导出(横 / 竖屏、24/30/60 帧)→ 推送
110
+ 7. 封面生成(4:3 / 3:4 / 16:9,多选下载)+ 四平台文案 → 推送
111
+ 8. 实况图(LiveCanvas,jpg + mov + .pvt,ZIP 下载)+ 图文文案;Python 校验 → 推送
112
+ 9. Blender 场景脚本 → 推送
113
+ 10. 全片检查、手机性能调优、收尾 → 推送
114
+
115
+ ---
116
+
117
+ ## F. 进度日志(项目二)
118
+
119
+ - **步骤 1** ✅ 写好计划、大纲、步骤与做法(本节),推送到 Space。
120
+
121
+
122
+ ---
123
+
124
+ # 项目一(原有,保留不动)
125
+
126
  # 黑街 BLACK STREET — 浏览器实时渲染 MV
127
 
128
  > 音乐:《黑街 (DJ葱姜蒜进行曲)》 — DJ鐘董