LumenAct / docs /ADAPTING_YOUR_MODEL.md
AaBbcoder's picture
Document Blender reference face shape-key workflow
2cbbc80 verified
|
Raw History Blame Contribute Delete
15.1 kB
# Blender+MCP:把流明表情通道适配到自己的角色
本流程在 Blender 中完成:由 AI 通过 MCP 分析流明参考脸与目标角色,按对应部位类比制作同名形态键,再生成双模型联动面板,由人工逐项比较与修正。完成后,新角色就具有表情模型套组可驱动的形态键通道。
目标是移植形态键的动作含义、方向和表现,不要求目标角色与流明长得相同,也不要求两者拥有相同拓扑。AI 先完成初稿,人工负责最终质量确认。
## 模型格式与最低要求
**推荐使用 VRM 人形角色,但 VRM 不是必需条件。** 对人形角色而言,VRM 的骨骼、表情及角色元数据约定便于整理模型和接入支持 VRM 的运行时。使用 VRM 仍需核对、制作流明所需的形态键,不能把符合 VRM 规范等同于已完成本套组的表情适配。
| 模型来源 | 导入与适配注意事项 |
| --- | --- |
| VRM(推荐) | 安装兼容其 VRM 版本的 Blender 导入插件,保留原有形态键、表情设置和绑定 |
| FBX | 使用支持该文件的导入方式,确认 Blend Shapes 被保留,检查键名、默认值和缩放 |
| MMD:PMX/PMD | 使用支持相应格式的 MMD 导入插件;顶点 Morph 可对应形态键,骨骼、材质及组合 Morph 需要分别分析和转换 |
| glTF/GLB | 确认文件实际包含 morph targets,并在导入、导出时保留 |
| Blender `.blend` | 打开或追加相应对象,保留已有形态键、相对键关系、驱动器和绑定 |
最低要求是有可编辑的面部网格,并在接入时具备正确的形态键形变、同名通道或明确名称映射、适配的数值范围,以及能设置这些权重的运行时。适配前没有形态键的模型也可以使用,由本流程补建;只有键名、没有实际形变,不算完成适配。
基础脸部形态键驱动不强制骨骼或 Humanoid 绑定;眼球骨骼跟随、头部运动等附加功能则需要各自的绑定与实现。同一对象的各形态键需要兼容的顶点数量和顺序,不同角色之间不要求相同拓扑。
这些格式是 Blender 适配的素材来源,不表示当前预览网页可以直接导入任意格式。最终导出格式应由使用者的目标引擎或播放器决定。
## 1. 准备环境和参考文件
准备以下内容:
- Blender,以及目标模型格式所需的导入插件;例如 VRM 需要对应插件。
- 与当前 Blender 和 AI 客户端兼容的 Blender MCP 插件及连接配置。
- **可以直接导入 Blender、保留完整形态键的流明脸部参考文件**,优先使用 `.blend`,也可以使用确认保留 morph targets 的 `.glb` 等格式。
- 要适配的角色原文件及备份;推荐 VRM,也可使用上表中能正确导入的其他格式。
- `assets/reference-face/channels.json`,用于核对正式通道名、分组、范围和默认值。
先让 AI 通过 MCP 读取当前场景对象列表,确认连接有效,再进行网格操作。将 Blender、导入插件和 MCP 的版本记录到适配报告中,便于复现。
**当前包的准备状态:资源仓库中的 `assets/reference-face/lumen-reference-face.blend` 是可直接导入 Blender、保留 118 个形态键的标准参考文件。** 网页专用 `avatar.json` 和 `geometry.buffer.json` 仍只用于网页预览,不能将它们改扩展名后当作 glTF 导入,也不能使用没有形态键的静态网格代替。
参考脸许可见 [资源声明](../assets/reference-face/ASSET_NOTICE.md)。适配自己的模型时仍应遵守该模型自身的许可。
## 2. 导入、备份并整理场景
把流明参考脸和目标角色导入同一 Blender 场景,分别放在清楚命名的集合中,例如 `LumenReference` 和 `TargetCharacter`。保存原始版本,再另存工作文件进行适配。
**目标模型原有的形态键必须先完整保留。** 同时保留原始 `Basis`、各键名称与相对键关系、默认值、驱动器、动画、骨骼绑定和修改器。需要调整时在工作副本中进行,原始文件作为恢复依据。
让 AI 先生成一份只读检查报告,列出:
- 哪些对象承担脸部、眉毛、眼睑、眼球、睫毛、牙齿和舌头;是否分属多个网格。
- 原有形态键、对应作用、默认值、相对键依赖,以及是否存在驱动器或动画控制。
- 两个角色的局部坐标、朝向、尺寸比例与中性姿态。
- 流明通道中哪些能直接复用目标模型的现有键,哪些需要新增,哪些暂时缺乏对应部件。
若整个人物共用一个网格,应识别脸部区域,避免编辑脸部键时牵动头发或身体。若眉毛、睫毛等是独立对象,要记录一个通道需要联动的全部对象,不要只改主脸网格。
对齐两张脸的朝向、眼线和观察比例,便于比较;计算位移时也要统一所用坐标。通过工作副本或父级变换做展示对齐,避免为对齐参考而破坏目标模型原有的绑定和骨骼静止姿态。先保存两者各自的中性基线,不能假定所有键为零时一定是正确中性脸。
## 3. 让 AI 分析参考键,制定适配表
AI 应通过 MCP 读取实际网格与形态键数据,并结合正面、侧面和必要的近景观察。每个通道至少分析:
1. 哪些顶点和部位发生变化,例如上眼睑、下眼睑、嘴角、上唇、下唇或眉头。
2. 位移方向、幅度分布、左右侧别,以及哪些区域应该保持不动。
3. 中间权重与满权重的表现,是否涉及牙齿、舌头、睫毛等附属网格。
4. 相对于哪个键计算变化。相对形态键应按其 `relative_key` 读取位移,不能把所有键都误认为直接相对于 `Basis`。
再分析目标角色的相应部位和脸部比例,建立通道适配表:
| 流明通道示例 | 目标动作 | 适配时重点 |
| --- | --- | --- |
| `eyebrow_up_R`、`eyebrow_up_L` | 右眉、左眉分别上挑 | 只改变指定侧;按目标眉骨和眉形调整 |
| `eye_close` | 双眼闭合 | 结合目标眼球与眼型,使眼睑正确相接 |
| `eye_wink_1_R`、`eye_wink_1_L` | 单眼眨眼 | 左右以角色自身为准,另一侧保持预期基线 |
| `mouth_smile_1` | 嘴部微笑 | 嘴角与嘴唇协调,不把整张笑脸烘焙到嘴部通道 |
| `mouth_a`、`mouth_i`、`mouth_u`、`mouth_e`、`mouth_o` | 基础元音嘴型 | 同时检查嘴唇、牙齿和舌头的空间关系 |
正式名称以通道表为准,保留大小写及内部空格,例如 `eyebrow_move _front_L` 中的空格。不要把说明文字、分隔项或 `Basis` 当作待生成的表情键。
## 4. 在目标角色上制作同名形态键
**不能在不同拓扑之间直接按顶点编号复制位移。** 应先识别对应的解剖区域和特征点,再根据眼距、嘴宽、眼睑高度等比例,把参考动作调整成适合目标角色的变化。邻近表面也不一定属于相同部位,例如上下嘴唇、眼睑与眼球,不能仅凭距离混在一起。
建议先适配单侧挑眉、闭眼、微笑和基础元音,确认方法适合该模型后,再按眉毛、眼睛、嘴部、其他部位分批扩展。每完成一批保存工作版本,记录 AI 实际新增或修改了哪些键。
对每个通道按以下规则处理:
- **没有同名键**:在目标对应网格上新增准确同名的相对形态键,通常以中性 `Basis` 为参考,类比制作该通道的形变。
- **已有同名且含义正确的键**:保留并复用,先检查方向、幅度和默认值。
- **已有同名但效果不符的键**:在适配表中标记冲突,保留原始备份后在工作副本中修正;不能静默覆盖,也不要生成 `.001` 后误当作已匹配。
- **已有异名但含义相同的键**:保留原键,可由其形变建立同名适配键。二者不应同时作为重复动作叠加,相关默认值和运行时使用方式需要明确记录。
保留目标角色原有的脸型与风格。参考为大眼、目标为小眼时,闭眼轨迹和满幅度可以不同,但动作含义与控制方向应一致。单个通道尽量只承担自己的职责,避免把整脸表情一起写入某个眉毛键或嘴型键。
同一个对象的所有形态键必须保持顶点数量和顺序兼容。已有形态键的工作网格不应在此过程中随意重拓扑、合并顶点或应用改变拓扑的修改器。
可以把以下要求作为给 AI 的起始任务,再根据它的检查报告调整:
```text
通过 Blender MCP 检查 LumenReference 和 TargetCharacter。
先只读分析网格、全部形态键、相对键、默认值、驱动器和骨骼绑定,提交通道适配表。
保留目标模型已有的所有形态键和原始文件,在工作副本上操作。
逐个读取流明参考键的实际顶点变化,识别对应部位,按目标脸部比例制作准确同名的键。
不要跨拓扑按顶点编号硬拷贝,不要牵动无关部位,不要静默覆盖同名键。
先完成左右挑眉、闭眼、微笑和基础元音的小批次,再扩展其他通道并记录结果。
```
## 5. 让 AI 为当前场景生成双模型联动面板
AI 完成初稿后,让它为使用者的 Blender 场景编写面板插件或脚本。它是使用者自行生成、可审阅和修改的辅助工具;本包不内置校准插件,也不自动安装或生成该插件。
面板至少应满足:
| 项目 | 具体要求 |
| --- | --- |
| 对象绑定 | 显式选择流明参考对象和目标对象;支持脸、眉毛、睫毛等多个对象的通道映射 |
| 完整通道列表 | 按通道表列出全部流明可调形态键,按眉毛、眼睛、嘴部等分组,并支持搜索 |
| 同步滑条 | 一条滑条用同一归一化权重驱动两边同名键,便于比较同等输入的效果 |
| 单通道检查 | 除当前键外,把其他受管理通道恢复各自的已记录基线,避免上一项影响观察 |
| 组合检查 | 可同时启用多个键,用于检查微笑+闭眼、元音+微笑等叠加 |
| 恢复与缺项 | 一键恢复两边基线;缺失键、同名冲突、多对象漏配应明确显示,不能无声跳过 |
| 人工编辑 | 激活目标对应形态键供编辑,不自动改写形态键顶点;参考脸保持不被雕刻或修改 |
| 验收记录 | 每个通道可标记未适配、待修正、已通过或不适用,并保存备注 |
Blender 中可统一使用 `0–1` 的滑条,也可以显示 `0–100` 并在内部除以 100。比较时两边使用同一权重,先通过修正目标形态键来解决幅度不合适的问题,避免面板暗中给两边使用不同增益而掩盖适配差异。
原有驱动器、时间轴或动作可能持续改写形态键值。测试前应记录并临时暂停相关影响,测试后能够恢复,不能通过永久删除原驱动器来获得面板控制。新插件应能重复注册、注销,关闭后不遗留重复驱动器或修改无关对象。
可给 AI 的面板任务示例:
```text
为当前 Blender 适配场景编写双模型形态键联动面板。
依据正式通道表列出全部流明可调通道,支持对象绑定、分组搜索和多网格映射。
每个滑条以相同 0–1 权重控制参考脸与目标角色的对应键。
提供单通道检查、组合检查、恢复各自基线、缺项提示和逐项验收备注。
保留原有键、默认值及驱动器;临时测试控制必须可恢复。
面板不自动修改顶点,方便我只编辑目标角色的对应形态键。
```
## 6. 人工逐项对比并修正
将两张脸放在方便观察的位置,保持可比较的角度和中性状态。逐个通道操作联动滑条,至少比较 `0`、`0.25`、`0.5`、`0.75`、`1`,必要时切换正面、侧面与斜侧面。
检查动作含义、方向和幅度是否一致,而不要求两张脸看起来完全相同。重点看:
- 单侧动作是否串到另一侧,眉毛、眼睑或嘴唇是否牵动无关区域。
- 闭眼是否漏缝,眼球是否穿出,睫毛是否跟随眼睑。
- 嘴唇是否相接、牙齿或舌头是否穿插,口腔是否出现不合理裂缝。
- 中间权重是否平顺,满权重是否过度挤压、拉长或翻面。
- 滑条回到记录的基线时,是否恢复正确中性脸。
发现问题后,只编辑目标角色的相应形态键,再重新联动比较。参考脸保持作为稳定基准。每完成一个通道便记录结果,不把“已创建键名”当成“已适配通过”。
可以使用以下验收表:
| 通道 | 已创建/复用 | 单键检查 | 组合检查 | 备注 |
| --- | --- | --- | --- | --- |
| `eyebrow_up_R` | 待填写 | 待填写 | 待填写 | 左右、幅度、是否牵动左眉 |
| `eye_close` | 待填写 | 待填写 | 待填写 | 闭合与睫毛跟随 |
| `mouth_a` | 待填写 | 待填写 | 待填写 | 嘴唇、牙齿、舌头 |
## 7. 检查组合与公开表演数据
所有单键通过后,再检查常见组合,例如微笑+闭眼、单眉+微笑、元音+微笑。若两个键同时作用造成形变加倍或穿插,应修正目标键的重叠形变,或在自己的运行时中明确混合规则。
可再让 AI 写一个 Blender 内的基础测试脚本:按 [FORMAT.md](FORMAT.md) 读取公开曲线中 `kind = blendshape` 的列,去掉属性名前的 `blendShape.`,将 `0–100` 换算成 `0–1`,在两个模型上同步播放同一段公开表演。该脚本由使用者自行生成,不是包内已有功能。
动态检查有助于发现单独拖滑条看不出的快速切换、默认值叠加和组合问题。单键验收与动态验收都通过后,再将适配标为完成。
## 8. 保存、导出并接入
建议保留适配后的 `.blend` 工程、通道适配表、人工验收记录,以及 AI 为该场景生成的面板源码。它们便于后续新增通道或调整角色脸型时继续维护。
导出目标角色时保留 shape keys/morph targets、键名和必要绑定。只导出目标角色所需对象,不把流明参考脸和比较面板误作为目标角色的一部分带出。检查导出过程中的优化或修改器是否移除了形态键。
在自己的目标引擎或播放器中完成:
```text
高层 LLM 的括号意图 → 语义类别与上下文 → 表演曲线采样
→ 同名形态键或明确映射 → 范围换算 → 新角色的脸部表现
```
在目标运行时中复核键名、左右、默认值、组合效果与回到中性的表现。不能把 166 维原始曲线全部当作 166 个脸部形态键;肌肉/骨骼列需要单独求解,眼球跟随、头部运动和语音口型同步也需要各自的实现。
此时得到的是具有对应表情驱动通道的新角色。接入不要求重新训练语义模型,但最终表现取决于适配质量、通道覆盖和使用者的运行时实现。