# G1 video trajectory figure 本目录保存从固定机位 G1 视频生成论文首图的可复现流水线。目标是把一段视频中的机器人运动压缩成一张图:保留真实相机背景,在真实像素位置或有记录的展示位置叠加经过分割的时间切片,并用颜色、透明度和轨迹线表达时间顺序。 当前推荐查看 **v10 背景整体提亮版**。v1 是原始位置基线,v2 是首个 SAM 展开布局,v3 固定了五色 S 形构图,v4 更新指定帧并修复背景残影,v5 优先减少姿态遮挡,v6 重新强调同排均匀、近大远小、脚底落地和轨迹连续,v7 裁掉顶部三分之一并统一缩小全部姿态,v8 锁定构图并改用保留原始明暗的金属质感五色,v9 在源视频原生 3840 × 2160 像素网格上重新取帧与合成,v10 则只把锁定的 v9 背景亮度从 0.92 调到 1.30;各版本使用独立配置、输出目录和 Git 分支,不会互相覆盖。 ## 目录 - `scripts/build_trajectory_figure.py`:主流程(读取视频、检测/分割、目标选择、背景修复、合成和导出)。 - `scripts/build_trajectory_figure_v2.py`:v2 流程(读取 v1 种子掩膜、SAM 精修、真实位置对照、展开布局、QA 和导出)。 - `scripts/build_trajectory_figure_v3.py`:v3 流程(指定帧重新检测、SAM 精修、五色分组、统一缩放、裁切安全区和 QA)。 - `scripts/build_trajectory_figure_v4.py`:v4 薄适配层(复用锁定的 v3 渲染器,仅替换指定帧、轻抬 14 s 姿态并局部清除背景残影)。 - `scripts/build_trajectory_figure_v5.py`:v5 薄适配层(原样复用 v4 帧、SAM 掩膜和背景,只调整展示位置及 6/7/31 s 的尺度)。 - `scripts/build_trajectory_figure_v6.py`:v6 薄适配层(归一前排视觉高度、建立等距落地后排,并仅补画被姿态遮住的彩色路径像素)。 - `scripts/build_trajectory_figure_v7.py`:v7 薄适配层(统一缩小 v6 全部姿态、整体下移后排并导出顶部裁掉三分之一的 8:3 宽幅版本)。 - `scripts/build_trajectory_figure_v8.py`:v8 薄适配层(锁定 v7 几何,用 CIELAB 色度迁移保留机器人原始明暗,并进行色差、局部对比度和几何一致性审计)。 - `scripts/build_trajectory_figure_v9.py`:v9 薄适配层(将锁定的 v8 SAM 掩膜映射到原生 4K 网格,从 4K 视频帧重新合成,并进行真实细节增益、几何锁定和出版文件审计)。 - `scripts/build_trajectory_figure_v10.py`:v10 薄适配层(完整复用 v9 原生 4K 前景与构图,只整体提亮背景,并审计亮度、几何、缓存和导出锁定)。 - `scripts/download_sam_checkpoint.py`:下载并校验 SAM ViT-B 权重;权重本身不进入 Git。 - `config_v1.json`:第一版的抽帧时刻、阶段颜色和导出参数。 - `config_v2_sam_layout.json`:第二版的 12 个代表姿态、关键帧透明度、SAM 参数和展示位置。 - `config_v3_custom_frames_layout.json`:第三版的 13 个指定时间点、五色映射、0.92 统一尺度和安全区内展示位置。 - `config_v4_frame_timing_background_fix.json`:第四版的替换时间点、锁定槽位、14 s 轻微上移量和背景残影清理参数。 - `config_v5_occlusion_layout_tuning.json`:第五版的错位布局、逐姿态尺度覆盖和遮挡检查目标。 - `config_v6_grounded_uniform_layout.json`:第六版的同排间距、脚底基线、近远尺度与轨迹可见性参数。 - `config_v7_wide_crop_uniform_scale.json`:第七版的统一额外缩放、严格顶部裁切和宽幅导出参数。 - `config_v8_metallic_contrast_palette.json`:第八版的五组中等明度颜色及金属质感着色参数;其余构图字段与 v7 一致。 - `config_v9_native_4k_resolution.json`:第九版的原生 3840 px 渲染宽度和 600 dpi PNG/TIFF 参数;其余视觉字段与 v8 一致。 - `config_v10_brighter_background.json`:第十版仅把背景亮度从 0.92 提到 1.30;除版本名外的其他字段与 v9 一致。 - `models/`:本地检测/分割权重。 - `intermediate/`:视频体检、关键帧、检测可视化等中间文件。 - `outputs/v1/`:第一版输出图、轨迹 CSV、检测 JSON、掩膜 NPZ 和逐帧 QA 拼图。 - `outputs/v2_sam_layout/`:第二版输出、SAM 指标、位置映射、遮挡量化和 v1/v2 对比图。 - `outputs/v3_custom_frames_layout/`:第三版输出、指定关键帧、五色映射、安全区验证和 v2/v3 对比图。 - `outputs/v4_frame_timing_background_fix/`:第四版输出、v3/v4 对比、背景修复 QA 与布局变更审计。 - `outputs/v5_occlusion_layout_tuning/`:第五版输出、v4/v5 对比、遮挡可见率、缓存复用审计与最终多格式文件。 - `outputs/v6_grounded_uniform_layout/`:第六版输出、v5/v6 对比、同排均匀度、路径补画和完整导出审计。 - `outputs/v7_wide_crop_uniform_scale/`:第七版输出、v6/v7 对比、统一缩放审计、裁切完整性和 8:3 多格式文件。 - `outputs/v8_metallic_contrast_palette/`:第八版输出、v7/v8 配色对比、色板、感知色差、源明暗保真度和几何锁定审计。 - `outputs/v9_native_4k_resolution/`:第九版原生 4K 合成、v8/v9 全图和细节对照、分辨率增益、掩膜网格映射及 600 dpi 出版文件。 - `outputs/v10_brighter_background/`:第十版背景提亮结果、v9/v10 全图及纯背景对照、亮度量化、几何/缓存锁定和同规格出版文件。 - `outputs/archive/`:保留早期自动跟踪草稿,便于比较修正效果;不作为交付版本。 - `qa/`:图契约和源码预检记录。 ## 运行环境 v2/v3/v4/v5/v6/v7/v8/v9/v10 已使用同一个独立 Python 3.10 环境验证,依赖写在 `requirements-v2.txt`。核心版本为 PyTorch 2.3.1、OpenCV 4.10、Matplotlib 3.9、Ultralytics 8.2.42 和 Segment Anything 1.0。 SAM ViT-B 权重通过下列命令准备,下载完成后会核对 SHA256;`models/sam_*.pth` 已加入 `.gitignore`。 ```bash trajectory_project/scripts/download_sam_checkpoint.py ``` ## 运行 ```bash cd \ trajectory_project/scripts/build_trajectory_figure.py \ --video source/CLIP_P0010073.mov \ --model trajectory_project/models/yolov8x-seg.pt \ --config trajectory_project/config_v1.json \ --out-dir trajectory_project/outputs/v1 \ --device 0 ``` GPU 只用于推理;占卡监控脚本不属于本项目。若需要释放显存,按用户约定先 `pkill -f monitor.py`,结束后重新执行用户提供的 `cmd.sh` 挂回监控。 主要交付文件: - `trajectory_annotated.*`:带三阶段时间条的首图候选。 - `trajectory_clean.*`:无文字版,方便论文排版时另加标注。 - `composite_rgb.png`:2560 px 原始合成底图。 - `cutouts_qa.jpg`:20 个时间切片的逐帧掩膜复核图。 - `trajectory.csv`、`detections.json`、`masks.npz`:可追溯中间数据。 v1–v8 的 PNG 按 183 mm 双栏宽度、300 dpi 导出,v9/v10 的 PNG 提高到 600 dpi;各版 TIFF 均为同尺寸 600 dpi,SVG/PDF 的文字保持可编辑。 ## 运行 v10 ```bash cd trajectory_project/scripts/build_trajectory_figure_v10.py ``` v10 默认直接复用 v9 已确认的 4K 视频帧、YOLO/SAM 掩膜和渲染器,不重新运行检测或分割,也不需要停止占卡监控。与 v9 相比,配置中的唯一视觉变化是把全局背景亮度系数由 `0.92` 调到 `1.30`;版本名和输出文件名随版本更新。v10 曾依次使用 1.00、1.10 和 1.16,均已按反馈在同一分支和输出目录中由当前版本覆盖。 - 13 个动作时刻、显示位置、逐姿态尺度、五色映射、色度迁移、alpha、阴影、层级和轨迹参数全部不变。 - 背景仍由同一批固定机位视频帧、相同掩膜和修复逻辑生成,只执行统一的全局亮度调整,不做局部选择性提亮、生成式修补、锐化或超分辨率。 - 顶部三分之一裁切、8:3 画面比例和右侧 12% 禁放区不变。 - 原生 clean 图继续为 3840 × 1440;183 mm 出版 PNG/TIFF 继续为 4322 × 1621、600 dpi。 v10 主要交付文件: - `trajectory_v10_brighter_background_clean_native.png`:3840 × 1440 的原生无文字推荐图。 - `trajectory_v10_brighter_background_clean.*`:183 mm、600 dpi 的 clean 出版包。 - `trajectory_v10_brighter_background_annotated.*`:同规格带时间条和五色说明的出版包。 - `comparison_v9_v10_background.jpg`:v9/v10 完整画面对照。 - `background_only_v9_v10.jpg`:排除机器人后的背景板亮度对照。 - `background_brightness_metrics.json`:平均/中位亮度、结构相关性和高光裁切审计。 - `geometry_lock_metrics.json`、`reuse_audit.json`、`resolution_metrics.json`:验证前景输入、布局、缓存和导出规格未变化。 v10 的全画布平均亮度相对 v9 提高 40.4725%,中位亮度由 112.3822 提到 159.5406;亮度结构相关系数为 0.999037,触及通道上限的背景像素比例为 25.8126%,主要对应原本明亮的整片窗面。相对上一版 1.16 的 v10,平均亮度再提高约 11.34%。地面和窗框仍保留层次,但窗面已明显接近白色。v9/v10 冗余遮挡率均为 0.058965,逐姿态尺度差为 0,显示脚点最大数值偏差为 0.00048 px(来自 CSV 小数位),右侧 12% 区域仍无新增像素。该全局背景提亮属于论文展示处理,正式使用时应与姿态重排、统一缩放和五色编码一并在图注或方法中披露。 ## 运行 v9 ```bash cd trajectory_project/scripts/build_trajectory_figure_v9.py ``` v9 默认复用 v8 已确认的 YOLO/SAM 分割结果,不重新运行检测或分割,也不需要停止占卡监控。与 v8 相比,它只改变处理像素网格和 PNG 导出 dpi: - 直接从 3840 × 2160、25 fps 的源视频读取指定帧,不先缩到 2560 × 1440。 - 用最近邻把锁定的 2560 × 1440 二值掩膜映射到 3840 × 2160;这只提高边界坐标密度,不声称产生新的分割语义。 - 所有归一化位置、逐姿态尺度、五色、色度迁移、alpha、阴影、层级、路径、顶部三分之一裁切和右侧 12% 禁放区均与 v8 相同。 - 裁切后的原生内部画布由 2560 × 960 提高到 3840 × 1440,线性分辨率为 1.5 倍、像素数为 2.25 倍。 - 不使用生成式超分辨率、AI 补细节或人工锐化;源视频为 H.264 8 bit,超出源视频的信息无法恢复。 v9 主要交付文件: - `trajectory_v9_native_4k_clean_native.png`:3840 × 1440 的逐像素原生无文字版,不经过论文尺寸重采样,追求最大真实清晰度时优先使用。 - `trajectory_v9_native_4k_clean.*`:183 mm、600 dpi 的 clean 出版包,包含 PNG/TIFF/SVG/PDF。 - `trajectory_v9_native_4k_annotated.*`:同尺寸带时间条和五组说明的出版包。 - `comparison_v8_v9_resolution.jpg`:v8/v9 相同构图的整图对照。 - `detail_crops_v8_v9.png`:6、14、40 s 的匹配区域 100% 像素细节对照;左侧是 v8 放大,右侧是 v9 原生 4K。 - `resolution_metrics.json`:原生尺寸、真实细节增益、是否使用生成式超分辨率及逐姿态指标。 - `geometry_lock_metrics.json`、`mask_scaling_metrics.json`:验证位置/尺度不变及掩膜只做最近邻网格映射。 ### v9 的结果与语义边界 13 个姿态相对“先缩到 v8 网格再放回 4K”的基线,高频细节增益最低为 1.140 倍、中位数为 1.233 倍,Laplacian 方差增益中位数为 2.151 倍。最终原生 clean 图为 3840 × 1440;论文 PNG/TIFF 均为 4322 × 1621、600 dpi,TIFF 为 RGB、LZW 无损压缩。显示脚点相对 v8 精确 1.5 倍坐标的最大偏差仅 0.0005 px,尺度差为 0;冗余遮挡率由 5.9055% 变为 5.8965%,0.009 个百分点的差异来自二值掩膜网格取整。右侧 12% 中 clean/annotated 仍为 0 个改动像素。 原生 4K 重渲染能恢复 v8 缩小处理时丢失的源像素,但不能突破 H.264 源视频本身的清晰度。若论文软件允许直接放置 PNG,优先用 `clean_native.png`;需要固定 183 mm、600 dpi 或期刊 TIFF 时使用标准 clean 出版文件。 ## 运行 v8 ```bash cd trajectory_project/scripts/build_trajectory_figure_v8.py ``` v8 默认复用 v7 的视频帧、SAM 掩膜和修复背景,不重新运行 GPU 推理。它把 v7 作为严格几何基线,只允许改动五组色号和机器人内部的色度映射: - A(6、7 s):`#1B9E77`,翡翠绿。 - B(12、14、31、32 s):`#4C78A8`,钢蓝。 - C(27、44、45 s):`#D9A02B`,赭金。 - D(40 s):`#E45756`,朱红。 - E(52、53、56.5 s):`#9D5BB7`,紫罗兰。 同组时刻继续使用完全相同的色号。机器人内部不再用浅色覆盖:先保留源视频的 CIELAB L* 明暗结构,再把 46.75% 色度交给分组颜色,源颜色与 RGB 细节的有效贡献为 53.25%,最后只增加 1.5 L* 的微小亮度补偿。没有白色提升,轮廓、路径、alpha、阴影、层级顺序均不改。 v8 主要交付文件: - `trajectory_v8_metallic_contrast_clean.*`:推荐的无文字首图候选,导出 PNG/TIFF/SVG/PDF。 - `trajectory_v8_metallic_contrast_annotated.*`:带阶段时间条和五色时间组说明版。 - `comparison_v7_v8.jpg`:相同几何下的 v7 原版与 v8 金属质感配色对照。 - `palette_swatch.png`、`color_map.csv`:五色色板和精确色号映射。 - `palette_metrics.json`:逐组 CIEDE2000 色差、基础 L*、源明暗相关性和局部对比度保留率。 - `geometry_lock_metrics.json`:逐帧验证位置、尺度、源帧、掩膜和非颜色配置与 v7 完全一致。 ### v8 的结果与语义边界 五组新色的最小两两 CIEDE2000 色差为 24.35,高于本项目设置的 20 阈值;着色后的 L* 与源机器人 L* 的最低相关系数为 0.9996,局部明暗对比保留率为 98.27%–100.03%,而 v7 为 57.22%–67.90%。13 个姿态的位置差和尺度差均为 0,冗余遮挡率仍为 5.9055%,最大叠加深度仍为 2;背景、分割缓存、裁切、右侧 12% 安全区和全部出版尺寸均与 v7 一致。颜色用于时间分组和视觉呈现,不代表真实材质、受力、速度或运动状态。 ## 运行 v7 ```bash cd trajectory_project/scripts/build_trajectory_figure_v7.py ``` v7 默认原样复用 v6 的视频帧、SAM 掩膜和修复背景,只重渲染姿态尺度与后排纵坐标,再对最终合成图执行固定裁切;不重新占用 GPU。主要构图约束如下: - 最终画布从 2560 × 1440 裁为 2560 × 960,严格移除顶部 480 px,即原高度的三分之一;宽高比由 16:9 变为 8:3。 - 13 个姿态的 v6 尺度全部乘以同一个 0.78,不改变彼此的相对尺度,因此前排大小一致性和 31/32 s 的近大远小关系保持不变。 - 全部横向脚点和前排纵向脚点保持 v6 数值;只把 40/44/45/52/53/56.5 s 后排作为整体从 y = 800 px 下移到 y = 940 px,使最高的 40 s 姿态在裁切线下仍保留约 22 px 余量。 - 后排仍以 290 px 固定间距排列并保持脚底齐平;缩小后与前排形成更明显的交错,最大叠加深度保持为 2。 - 背景、五色分组、alpha、14 s 动作帧、轨迹局部补线和右侧 12% 禁放区均保持不变。 v7 主要交付文件: - `trajectory_v7_wide_crop_clean.*`:推荐的 8:3 无文字首图候选,导出 PNG/TIFF/SVG/PDF。 - `trajectory_v7_wide_crop_annotated.*`:重新适配宽幅画布的阶段时间条和五色说明版。 - `comparison_v6_v7.jpg`:v6 原图、v7 裁切窗口和最终宽幅结果的纵向对照。 - `crop_metrics.json`、`crop_fit_metrics.json`:裁切比例、最终尺寸和逐姿态裁切余量。 - `scale_multiplier_metrics.json`:逐帧验证全部尺度均严格等于 v6 尺度的 0.78 倍。 - `layout_map_wide.csv`:在完整画布坐标之外补充裁切后脚点与边界坐标。 ### v7 的结果与语义边界 v7 冗余遮挡率为 5.91%,比 v6 的 8.35% 低 29.29%;最小逐姿态可见比例为 66.73%,最大叠加深度为 2。最终 PNG 为 2161 × 810、约 300 dpi,TIFF 为 4322 × 1621、RGB、600 dpi、LZW 无损压缩;右侧 12% 中 clean/annotated 改动像素均为 0。顶部裁切、统一缩放和后排纵向平移都属于展示性排版,不能解释为真实物理尺度、轨迹或位移。 ## 运行 v6 ```bash cd trajectory_project/scripts/build_trajectory_figure_v6.py ``` v6 默认原样复用 v5 的视频帧、SAM 掩膜和修复背景,只重渲染尺度、位置与路径,不重新占用 GPU。主要构图约束如下: - 前排除 14 s 跳跃外,6/7/12/27 s 的显示高度归一到约 824–837 px,脚底处于同一水平线;14 s 的尺度和位置与 v5 完全一致。 - 前排脚点间隔为约 400/350/345/355 px;6 s 横向展臂更宽,因此第一段保留稍大间距,其余三段接近等距。 - 后排 40/44/45/52/53/56.5 s 统一尺度 0.90、脚底 y = 800 px,并以 290 px 的固定步长排开;相对 v5 下移约 80–180 px。 - 31 s 使用 0.78,32 s 使用 0.90;结合源帧中的实际大小后,近处 31 s 的显示高度约为远处 32 s 的 1.188 倍。 - 彩色路径仍在姿态后方绘制,只对被机器人掩膜遮住的路径像素补一条 alpha = 0.48 的细彩线,不二次描白整条路径。 v6 主要交付文件: - `trajectory_v6_grounded_uniform_clean.*`:推荐的无文字首图候选,导出 PNG/TIFF/SVG/PDF。 - `trajectory_v6_grounded_uniform_annotated.*`:带阶段时间条、五色时间组和尺度范围的说明版。 - `comparison_v5_v6.jpg`:v5 低遮挡错位布局、v6 均匀落地布局和安全区对照。 - `row_layout_metrics.json`:前排高度变异、前后排间距和脚底高度、31/32 s 近远比例。 - `path_overlay_metrics.json`:原路径被遮挡的比例和补画参数。 - `occlusion_metrics.json`、`layout_change_audit.json`、`reuse_audit.json`:遮挡、位置尺度与复用完整性审计。 ### v6 的结果与语义边界 v6 冗余遮挡率为 8.35%,高于只追求最低遮挡的 v5(5.79%),但仍比 v4(11.18%)低 25.31%,最大叠加深度由 3 降为 2。这个变化是为了换取严格齐平的后排、均匀间距和落地轨迹;31/44 s 与 32/40 s 仍保持 0 像素交叠。彩色线和全局位置均为展示布局,不代表真实物理轨迹、速度或位移。 ## 运行 v5 ```bash cd trajectory_project/scripts/build_trajectory_figure_v5.py ``` v5 默认从 `outputs/v4_frame_timing_background_fix/` 读取并原样复制 YOLO/SAM 缓存,因此只重渲染布局,不重新占用 GPU。需要改变输入位置时,可显式传入 `--video`、`--config`、`--out-dir` 或 `--segmentation-source`。 v5 保持 v4 的 13 个源时刻、五色映射、透明度、背景和右侧 12% 禁放区不变。布局调整集中在以下位置: - 6/7 s 同步从 0.92 放大到 0.96,并拉开横向间距,使两者与 12/14 s 的视觉尺度更协调。 - 31 s 单独缩到 0.82 并下移,避免挡住后方姿态;14 s 继续少量上移。 - 40–56.5 s 整体向左展开,并按上下错位方式交错排布;40/44 s 不再分别被 32/31 s 遮住。 - 辅助标注框缩到 56.5 s 姿态左侧;clean 主图本身不含该标注框。 v5 主要交付文件: - `trajectory_v5_occlusion_tuned_clean.*`:推荐的无文字首图候选,导出 PNG/TIFF/SVG/PDF。 - `trajectory_v5_occlusion_tuned_annotated.*`:带三阶段时间条、五色时间组和尺度披露的版本。 - `comparison_v4_v5.jpg`:v4、v5 与右侧裁切安全区对照。 - `occlusion_metrics.json`:逐姿态可见率、指定遮挡对和 v4/v5 总遮挡对比。 - `layout_change_audit.json`、`layout_map.csv`:每个时刻的目标位置、最终位置和尺度变化。 - `reuse_audit.json`:v4/v5 背景与复用分割缓存的 SHA256 一致性检查。 ### v5 的结果与语义边界 冗余遮挡率由 v4 的 11.18% 降到 5.79%,相对减少 48.26%;31/44 s 与 32/40 s 的掩膜交叠均降为 0,6/7 s 的相对交叠从 11.13% 降到 3.35%。这些数值衡量的是展示布局可读性,不是物理轨迹误差。彩色线仍只表示排版后的阅读顺序;位置和 6/7/31 s 的显示尺度都经过明确调整,真实运动分析必须回到源视频坐标。 ## 运行 v4 ```bash cd \ trajectory_project/scripts/build_trajectory_figure_v4.py \ --video source/CLIP_P0010073.mov \ --yolo-model trajectory_project/models/yolov8x-seg.pt \ --sam-checkpoint trajectory_project/models/sam_vit_b_01ec64.pth \ --config trajectory_project/config_v4_frame_timing_background_fix.json \ --out-dir trajectory_project/outputs/v4_frame_timing_background_fix \ --device cuda:0 ``` 只重渲染布局、标注和背景修补时复用 14 帧分割缓存: ```bash trajectory_project/scripts/build_trajectory_figure_v4.py --reuse-segmentation ``` v4 使用的五色时间组为: - A(青色):6、7 s。 - B(蓝色):12、14、31、32 s。 - C(金色):27、44、45 s。 - D(珊瑚色):40 s。 - E(紫色):52、53、56.5 s。 v4 主要交付文件: - `trajectory_v4_timing_background_clean.*`:无文字首图候选,导出 PNG/TIFF/SVG/PDF。 - `trajectory_v4_timing_background_annotated.*`:带三阶段时间条和五色时间组说明的版本。 - `comparison_v3_v4.jpg`:锁定的 v3 布局、v4 结果和裁切安全区对照。 - `background_fix_qa.jpg`、`background_fix_metrics.json`:背景残影修补前后和局部变化范围。 - `layout_change_audit.json`、`layout_map.csv`:v3/v4 槽位映射、14 s 上移量及最终入画位置。 - `requested_keyframes.jpg`、`sam_refinement_qa.jpg`、`sam_metrics.json`:指定源帧和分割质量检查。 ### v4 的变更边界 v4 复用 v3 的颜色、0.92 统一尺度、透明度、S 形槽位与右侧 12% 禁放区。除 14 s 上移 27.36 px 外,归一化布局目标不变;6 s 横向展臂为避免被裁切触发了既有画内约束。背景只修补 44 s 供体残影对应的局部区域,像素来自同一固定机位的 31 s 原始帧,不使用生成式内容。 ## 运行 v3 ```bash cd \ trajectory_project/scripts/build_trajectory_figure_v3.py \ --video source/CLIP_P0010073.mov \ --yolo-model trajectory_project/models/yolov8x-seg.pt \ --sam-checkpoint trajectory_project/models/sam_vit_b_01ec64.pth \ --config trajectory_project/config_v3_custom_frames_layout.json \ --out-dir trajectory_project/outputs/v3_custom_frames_layout \ --device cuda:0 ``` 只调整颜色、尺度、布局或标注时复用 15 帧分割缓存: ```bash trajectory_project/scripts/build_trajectory_figure_v3.py --reuse-segmentation ``` v3 严格使用 13 个指定时间点,五色映射如下: - A(青色):7、8 s。 - B(蓝色):12、14、32、33 s。 - C(金色):27、45、50 s。 - D(珊瑚色):40 s。 - E(紫色):52、53、57 s。 v3 主要交付文件: - `trajectory_v3_custom_frames_clean.*`:无文字的首图候选,导出 PNG/TIFF/SVG/PDF。 - `trajectory_v3_custom_frames_annotated.*`:带三阶段时间条、指定帧标记和五色图例的版本。 - `comparison_v2_v3.jpg`:v2、v3 与右侧裁切安全区 QA 的对比。 - `safe_area_qa.png`、`safe_area_metrics.json`:把右侧 12% 标红并验证最终 overlay 没有进入该区域。 - `requested_keyframes.jpg`:13 个指定源帧及其颜色组。 - `color_map.csv`、`layout_map.csv`:逐组颜色和逐帧位置、统一缩放后的边界框。 - `segmentation_cache.npz`、`sam_refinement_qa.jpg`、`sam_metrics.json`:可复用分割缓存与边缘检查。 ### v3 的语义边界 v3 不显示灰色真实轨迹。彩色线只连接重新排版后的姿态,表示阅读次序,不能解释为真实物理运动路径。所有机器人统一使用 `scale_factor = 0.92`,因此相对的近大远小关系保持不变;画面右侧 12% 只保留背景,便于后续裁切。 ## 运行 v2 ```bash cd \ trajectory_project/scripts/build_trajectory_figure_v2.py \ --video source/CLIP_P0010073.mov \ --seed-dir trajectory_project/outputs/v1 \ --config trajectory_project/config_v2_sam_layout.json \ --out-dir trajectory_project/outputs/v2_sam_layout \ --device cuda:0 ``` 只调整布局、透明度或标注时,可以复用已保存的 SAM 掩膜,避免重复推理: ```bash trajectory_project/scripts/build_trajectory_figure_v2.py --reuse-refined ``` v2 主要交付文件: - `trajectory_v2_layout_expanded_clean.*`:无文字的首图候选,完整导出 PNG/TIFF/SVG/PDF。 - `trajectory_v2_layout_expanded_annotated.*`:带阶段时间条、轨迹图例和布局披露的版本。 - `trajectory_v2_true_position.png`:同一批 12 帧保留真实像素位置的对照版。 - `comparison_v1_v2.jpg`:v1、v2 真实位置和 v2 展开布局的三方对比。 - `sam_refinement_qa.jpg`、`sam_metrics.csv/json`:SAM 边缘和逐帧指标。 - `layout_map.csv`:每帧真实脚点、展示脚点、平移量、透明度和恒定尺度因子。 - `overlap_metrics.json`:真实位置与展开布局的掩膜遮挡量化。 ### 展开布局的语义边界 展开版为了首图可读性,允许把整个人形机器人切片做二维平移,但固定 `scale_factor = 1.0`,不缩放、不旋转、不变形。灰色虚线是真实图像平面轨迹;彩色实线只连接展开后的展示位置,不能在论文中称为真实物理轨迹。图注和方法中应明确写明:`pose positions expanded for visibility; source scale retained`。 ## 第一版图契约 核心结论:**G1 在同一个固定场景中完成“近景原地动作 → 向后跑动 → 远景动作”的连续时空运动,轨迹图同时呈现动作多样性和明显的尺度变化。** 图形类型:`image plate + custom temporal overlay`。主证据是背景上的时间切片实体和脚底轨迹;顶部阶段条只承担阅读辅助,不作为定量证据。 第一版是视觉草稿,不把检测类别(COCO 的 person/bicycle 等)当作科学结论;所有切片的源帧时间和检测框/掩膜信息都写入 `outputs/v1`,便于人工复核和后续换成专门的 G1/SAM 分割器。