LumenAct / docs /ADAPTING_YOUR_MODEL.md
AaBbcoder's picture
Document Blender reference face shape-key workflow
2cbbc80 verified
|
Raw History Blame Contribute Delete
15.1 kB

Blender+MCP:把流明表情通道适配到自己的角色

本流程在 Blender 中完成:由 AI 通过 MCP 分析流明参考脸与目标角色,按对应部位类比制作同名形态键,再生成双模型联动面板,由人工逐项比较与修正。完成后,新角色就具有表情模型套组可驱动的形态键通道。

目标是移植形态键的动作含义、方向和表现,不要求目标角色与流明长得相同,也不要求两者拥有相同拓扑。AI 先完成初稿,人工负责最终质量确认。

模型格式与最低要求

推荐使用 VRM 人形角色,但 VRM 不是必需条件。 对人形角色而言,VRM 的骨骼、表情及角色元数据约定便于整理模型和接入支持 VRM 的运行时。使用 VRM 仍需核对、制作流明所需的形态键,不能把符合 VRM 规范等同于已完成本套组的表情适配。

模型来源 导入与适配注意事项
VRM(推荐) 安装兼容其 VRM 版本的 Blender 导入插件,保留原有形态键、表情设置和绑定
FBX 使用支持该文件的导入方式,确认 Blend Shapes 被保留,检查键名、默认值和缩放
MMD:PMX/PMD 使用支持相应格式的 MMD 导入插件;顶点 Morph 可对应形态键,骨骼、材质及组合 Morph 需要分别分析和转换
glTF/GLB 确认文件实际包含 morph targets,并在导入、导出时保留
Blender .blend 打开或追加相应对象,保留已有形态键、相对键关系、驱动器和绑定

最低要求是有可编辑的面部网格,并在接入时具备正确的形态键形变、同名通道或明确名称映射、适配的数值范围,以及能设置这些权重的运行时。适配前没有形态键的模型也可以使用,由本流程补建;只有键名、没有实际形变,不算完成适配。

基础脸部形态键驱动不强制骨骼或 Humanoid 绑定;眼球骨骼跟随、头部运动等附加功能则需要各自的绑定与实现。同一对象的各形态键需要兼容的顶点数量和顺序,不同角色之间不要求相同拓扑。

这些格式是 Blender 适配的素材来源,不表示当前预览网页可以直接导入任意格式。最终导出格式应由使用者的目标引擎或播放器决定。

1. 准备环境和参考文件

准备以下内容:

  • Blender,以及目标模型格式所需的导入插件;例如 VRM 需要对应插件。
  • 与当前 Blender 和 AI 客户端兼容的 Blender MCP 插件及连接配置。
  • 可以直接导入 Blender、保留完整形态键的流明脸部参考文件,优先使用 .blend,也可以使用确认保留 morph targets 的 .glb 等格式。
  • 要适配的角色原文件及备份;推荐 VRM,也可使用上表中能正确导入的其他格式。
  • assets/reference-face/channels.json,用于核对正式通道名、分组、范围和默认值。

先让 AI 通过 MCP 读取当前场景对象列表,确认连接有效,再进行网格操作。将 Blender、导入插件和 MCP 的版本记录到适配报告中,便于复现。

当前包的准备状态:资源仓库中的 assets/reference-face/lumen-reference-face.blend 是可直接导入 Blender、保留 118 个形态键的标准参考文件。 网页专用 avatar.json 和 geometry.buffer.json 仍只用于网页预览,不能将它们改扩展名后当作 glTF 导入,也不能使用没有形态键的静态网格代替。

参考脸许可见 资源声明。适配自己的模型时仍应遵守该模型自身的许可。

2. 导入、备份并整理场景

把流明参考脸和目标角色导入同一 Blender 场景,分别放在清楚命名的集合中,例如 LumenReference 和 TargetCharacter。保存原始版本,再另存工作文件进行适配。

目标模型原有的形态键必须先完整保留。 同时保留原始 Basis、各键名称与相对键关系、默认值、驱动器、动画、骨骼绑定和修改器。需要调整时在工作副本中进行,原始文件作为恢复依据。

让 AI 先生成一份只读检查报告,列出:

  • 哪些对象承担脸部、眉毛、眼睑、眼球、睫毛、牙齿和舌头;是否分属多个网格。
  • 原有形态键、对应作用、默认值、相对键依赖,以及是否存在驱动器或动画控制。
  • 两个角色的局部坐标、朝向、尺寸比例与中性姿态。
  • 流明通道中哪些能直接复用目标模型的现有键,哪些需要新增,哪些暂时缺乏对应部件。

若整个人物共用一个网格,应识别脸部区域,避免编辑脸部键时牵动头发或身体。若眉毛、睫毛等是独立对象,要记录一个通道需要联动的全部对象,不要只改主脸网格。

对齐两张脸的朝向、眼线和观察比例,便于比较;计算位移时也要统一所用坐标。通过工作副本或父级变换做展示对齐,避免为对齐参考而破坏目标模型原有的绑定和骨骼静止姿态。先保存两者各自的中性基线,不能假定所有键为零时一定是正确中性脸。

3. 让 AI 分析参考键,制定适配表

AI 应通过 MCP 读取实际网格与形态键数据,并结合正面、侧面和必要的近景观察。每个通道至少分析:

  1. 哪些顶点和部位发生变化,例如上眼睑、下眼睑、嘴角、上唇、下唇或眉头。
  2. 位移方向、幅度分布、左右侧别,以及哪些区域应该保持不动。
  3. 中间权重与满权重的表现,是否涉及牙齿、舌头、睫毛等附属网格。
  4. 相对于哪个键计算变化。相对形态键应按其 relative_key 读取位移,不能把所有键都误认为直接相对于 Basis。

再分析目标角色的相应部位和脸部比例,建立通道适配表:

流明通道示例 目标动作 适配时重点
eyebrow_up_R、eyebrow_up_L 右眉、左眉分别上挑 只改变指定侧;按目标眉骨和眉形调整
eye_close 双眼闭合 结合目标眼球与眼型,使眼睑正确相接
eye_wink_1_R、eye_wink_1_L 单眼眨眼 左右以角色自身为准,另一侧保持预期基线
mouth_smile_1 嘴部微笑 嘴角与嘴唇协调,不把整张笑脸烘焙到嘴部通道
mouth_a、mouth_i、mouth_u、mouth_e、mouth_o 基础元音嘴型 同时检查嘴唇、牙齿和舌头的空间关系

正式名称以通道表为准,保留大小写及内部空格,例如 eyebrow_move _front_L 中的空格。不要把说明文字、分隔项或 Basis 当作待生成的表情键。

4. 在目标角色上制作同名形态键

不能在不同拓扑之间直接按顶点编号复制位移。 应先识别对应的解剖区域和特征点,再根据眼距、嘴宽、眼睑高度等比例,把参考动作调整成适合目标角色的变化。邻近表面也不一定属于相同部位,例如上下嘴唇、眼睑与眼球,不能仅凭距离混在一起。

建议先适配单侧挑眉、闭眼、微笑和基础元音,确认方法适合该模型后,再按眉毛、眼睛、嘴部、其他部位分批扩展。每完成一批保存工作版本,记录 AI 实际新增或修改了哪些键。

对每个通道按以下规则处理:

  • 没有同名键:在目标对应网格上新增准确同名的相对形态键,通常以中性 Basis 为参考,类比制作该通道的形变。
  • 已有同名且含义正确的键:保留并复用,先检查方向、幅度和默认值。
  • 已有同名但效果不符的键:在适配表中标记冲突,保留原始备份后在工作副本中修正;不能静默覆盖,也不要生成 .001 后误当作已匹配。
  • 已有异名但含义相同的键:保留原键,可由其形变建立同名适配键。二者不应同时作为重复动作叠加,相关默认值和运行时使用方式需要明确记录。

保留目标角色原有的脸型与风格。参考为大眼、目标为小眼时,闭眼轨迹和满幅度可以不同,但动作含义与控制方向应一致。单个通道尽量只承担自己的职责,避免把整脸表情一起写入某个眉毛键或嘴型键。

同一个对象的所有形态键必须保持顶点数量和顺序兼容。已有形态键的工作网格不应在此过程中随意重拓扑、合并顶点或应用改变拓扑的修改器。

可以把以下要求作为给 AI 的起始任务,再根据它的检查报告调整:

通过 Blender MCP 检查 LumenReference 和 TargetCharacter。
先只读分析网格、全部形态键、相对键、默认值、驱动器和骨骼绑定,提交通道适配表。
保留目标模型已有的所有形态键和原始文件,在工作副本上操作。
逐个读取流明参考键的实际顶点变化,识别对应部位,按目标脸部比例制作准确同名的键。
不要跨拓扑按顶点编号硬拷贝,不要牵动无关部位,不要静默覆盖同名键。
先完成左右挑眉、闭眼、微笑和基础元音的小批次,再扩展其他通道并记录结果。

5. 让 AI 为当前场景生成双模型联动面板

AI 完成初稿后,让它为使用者的 Blender 场景编写面板插件或脚本。它是使用者自行生成、可审阅和修改的辅助工具;本包不内置校准插件,也不自动安装或生成该插件。

面板至少应满足:

项目 具体要求
对象绑定 显式选择流明参考对象和目标对象;支持脸、眉毛、睫毛等多个对象的通道映射
完整通道列表 按通道表列出全部流明可调形态键,按眉毛、眼睛、嘴部等分组,并支持搜索
同步滑条 一条滑条用同一归一化权重驱动两边同名键,便于比较同等输入的效果
单通道检查 除当前键外,把其他受管理通道恢复各自的已记录基线,避免上一项影响观察
组合检查 可同时启用多个键,用于检查微笑+闭眼、元音+微笑等叠加
恢复与缺项 一键恢复两边基线;缺失键、同名冲突、多对象漏配应明确显示,不能无声跳过
人工编辑 激活目标对应形态键供编辑,不自动改写形态键顶点;参考脸保持不被雕刻或修改
验收记录 每个通道可标记未适配、待修正、已通过或不适用,并保存备注

Blender 中可统一使用 0–1 的滑条,也可以显示 0–100 并在内部除以 100。比较时两边使用同一权重,先通过修正目标形态键来解决幅度不合适的问题,避免面板暗中给两边使用不同增益而掩盖适配差异。

原有驱动器、时间轴或动作可能持续改写形态键值。测试前应记录并临时暂停相关影响,测试后能够恢复,不能通过永久删除原驱动器来获得面板控制。新插件应能重复注册、注销,关闭后不遗留重复驱动器或修改无关对象。

可给 AI 的面板任务示例:

为当前 Blender 适配场景编写双模型形态键联动面板。
依据正式通道表列出全部流明可调通道,支持对象绑定、分组搜索和多网格映射。
每个滑条以相同 0–1 权重控制参考脸与目标角色的对应键。
提供单通道检查、组合检查、恢复各自基线、缺项提示和逐项验收备注。
保留原有键、默认值及驱动器;临时测试控制必须可恢复。
面板不自动修改顶点,方便我只编辑目标角色的对应形态键。

6. 人工逐项对比并修正

将两张脸放在方便观察的位置,保持可比较的角度和中性状态。逐个通道操作联动滑条,至少比较 0、0.25、0.5、0.75、1,必要时切换正面、侧面与斜侧面。

检查动作含义、方向和幅度是否一致,而不要求两张脸看起来完全相同。重点看:

  • 单侧动作是否串到另一侧,眉毛、眼睑或嘴唇是否牵动无关区域。
  • 闭眼是否漏缝,眼球是否穿出,睫毛是否跟随眼睑。
  • 嘴唇是否相接、牙齿或舌头是否穿插,口腔是否出现不合理裂缝。
  • 中间权重是否平顺,满权重是否过度挤压、拉长或翻面。
  • 滑条回到记录的基线时,是否恢复正确中性脸。

发现问题后,只编辑目标角色的相应形态键,再重新联动比较。参考脸保持作为稳定基准。每完成一个通道便记录结果,不把“已创建键名”当成“已适配通过”。

可以使用以下验收表:

通道 已创建/复用 单键检查 组合检查 备注
eyebrow_up_R 待填写 待填写 待填写 左右、幅度、是否牵动左眉
eye_close 待填写 待填写 待填写 闭合与睫毛跟随
mouth_a 待填写 待填写 待填写 嘴唇、牙齿、舌头

7. 检查组合与公开表演数据

所有单键通过后,再检查常见组合,例如微笑+闭眼、单眉+微笑、元音+微笑。若两个键同时作用造成形变加倍或穿插,应修正目标键的重叠形变,或在自己的运行时中明确混合规则。

可再让 AI 写一个 Blender 内的基础测试脚本:按 FORMAT.md 读取公开曲线中 kind = blendshape 的列,去掉属性名前的 blendShape.,将 0–100 换算成 0–1,在两个模型上同步播放同一段公开表演。该脚本由使用者自行生成,不是包内已有功能。

动态检查有助于发现单独拖滑条看不出的快速切换、默认值叠加和组合问题。单键验收与动态验收都通过后,再将适配标为完成。

8. 保存、导出并接入

建议保留适配后的 .blend 工程、通道适配表、人工验收记录,以及 AI 为该场景生成的面板源码。它们便于后续新增通道或调整角色脸型时继续维护。

导出目标角色时保留 shape keys/morph targets、键名和必要绑定。只导出目标角色所需对象,不把流明参考脸和比较面板误作为目标角色的一部分带出。检查导出过程中的优化或修改器是否移除了形态键。

在自己的目标引擎或播放器中完成:

高层 LLM 的括号意图 → 语义类别与上下文 → 表演曲线采样
→ 同名形态键或明确映射 → 范围换算 → 新角色的脸部表现

在目标运行时中复核键名、左右、默认值、组合效果与回到中性的表现。不能把 166 维原始曲线全部当作 166 个脸部形态键;肌肉/骨骼列需要单独求解,眼球跟随、头部运动和语音口型同步也需要各自的实现。

此时得到的是具有对应表情驱动通道的新角色。接入不要求重新训练语义模型,但最终表现取决于适配质量、通道覆盖和使用者的运行时实现。