Tinghong-Ye22's picture
Add files using upload-large-folder tool
c3099b3 verified
|
Raw History Blame Contribute Delete
26.7 kB

G1 video trajectory figure

本目录保存从固定机位 G1 视频生成论文首图的可复现流水线。目标是把一段视频中的机器人运动压缩成一张图:保留真实相机背景,在真实像素位置或有记录的展示位置叠加经过分割的时间切片,并用颜色、透明度和轨迹线表达时间顺序。

当前推荐查看 v10 背景整体提亮版。v1 是原始位置基线,v2 是首个 SAM 展开布局,v3 固定了五色 S 形构图,v4 更新指定帧并修复背景残影,v5 优先减少姿态遮挡,v6 重新强调同排均匀、近大远小、脚底落地和轨迹连续,v7 裁掉顶部三分之一并统一缩小全部姿态,v8 锁定构图并改用保留原始明暗的金属质感五色,v9 在源视频原生 3840 × 2160 像素网格上重新取帧与合成,v10 则只把锁定的 v9 背景亮度从 0.92 调到 1.30;各版本使用独立配置、输出目录和 Git 分支,不会互相覆盖。

目录

  • scripts/build_trajectory_figure.py:主流程(读取视频、检测/分割、目标选择、背景修复、合成和导出)。
  • scripts/build_trajectory_figure_v2.py:v2 流程(读取 v1 种子掩膜、SAM 精修、真实位置对照、展开布局、QA 和导出)。
  • scripts/build_trajectory_figure_v3.py:v3 流程(指定帧重新检测、SAM 精修、五色分组、统一缩放、裁切安全区和 QA)。
  • scripts/build_trajectory_figure_v4.py:v4 薄适配层(复用锁定的 v3 渲染器,仅替换指定帧、轻抬 14 s 姿态并局部清除背景残影)。
  • scripts/build_trajectory_figure_v5.py:v5 薄适配层(原样复用 v4 帧、SAM 掩膜和背景,只调整展示位置及 6/7/31 s 的尺度)。
  • scripts/build_trajectory_figure_v6.py:v6 薄适配层(归一前排视觉高度、建立等距落地后排,并仅补画被姿态遮住的彩色路径像素)。
  • scripts/build_trajectory_figure_v7.py:v7 薄适配层(统一缩小 v6 全部姿态、整体下移后排并导出顶部裁掉三分之一的 8:3 宽幅版本)。
  • scripts/build_trajectory_figure_v8.py:v8 薄适配层(锁定 v7 几何,用 CIELAB 色度迁移保留机器人原始明暗,并进行色差、局部对比度和几何一致性审计)。
  • scripts/build_trajectory_figure_v9.py:v9 薄适配层(将锁定的 v8 SAM 掩膜映射到原生 4K 网格,从 4K 视频帧重新合成,并进行真实细节增益、几何锁定和出版文件审计)。
  • scripts/build_trajectory_figure_v10.py:v10 薄适配层(完整复用 v9 原生 4K 前景与构图,只整体提亮背景,并审计亮度、几何、缓存和导出锁定)。
  • scripts/download_sam_checkpoint.py:下载并校验 SAM ViT-B 权重;权重本身不进入 Git。
  • config_v1.json:第一版的抽帧时刻、阶段颜色和导出参数。
  • config_v2_sam_layout.json:第二版的 12 个代表姿态、关键帧透明度、SAM 参数和展示位置。
  • config_v3_custom_frames_layout.json:第三版的 13 个指定时间点、五色映射、0.92 统一尺度和安全区内展示位置。
  • config_v4_frame_timing_background_fix.json:第四版的替换时间点、锁定槽位、14 s 轻微上移量和背景残影清理参数。
  • config_v5_occlusion_layout_tuning.json:第五版的错位布局、逐姿态尺度覆盖和遮挡检查目标。
  • config_v6_grounded_uniform_layout.json:第六版的同排间距、脚底基线、近远尺度与轨迹可见性参数。
  • config_v7_wide_crop_uniform_scale.json:第七版的统一额外缩放、严格顶部裁切和宽幅导出参数。
  • config_v8_metallic_contrast_palette.json:第八版的五组中等明度颜色及金属质感着色参数;其余构图字段与 v7 一致。
  • config_v9_native_4k_resolution.json:第九版的原生 3840 px 渲染宽度和 600 dpi PNG/TIFF 参数;其余视觉字段与 v8 一致。
  • config_v10_brighter_background.json:第十版仅把背景亮度从 0.92 提到 1.30;除版本名外的其他字段与 v9 一致。
  • models/:本地检测/分割权重。
  • intermediate/:视频体检、关键帧、检测可视化等中间文件。
  • outputs/v1/:第一版输出图、轨迹 CSV、检测 JSON、掩膜 NPZ 和逐帧 QA 拼图。
  • outputs/v2_sam_layout/:第二版输出、SAM 指标、位置映射、遮挡量化和 v1/v2 对比图。
  • outputs/v3_custom_frames_layout/:第三版输出、指定关键帧、五色映射、安全区验证和 v2/v3 对比图。
  • outputs/v4_frame_timing_background_fix/:第四版输出、v3/v4 对比、背景修复 QA 与布局变更审计。
  • outputs/v5_occlusion_layout_tuning/:第五版输出、v4/v5 对比、遮挡可见率、缓存复用审计与最终多格式文件。
  • outputs/v6_grounded_uniform_layout/:第六版输出、v5/v6 对比、同排均匀度、路径补画和完整导出审计。
  • outputs/v7_wide_crop_uniform_scale/:第七版输出、v6/v7 对比、统一缩放审计、裁切完整性和 8:3 多格式文件。
  • outputs/v8_metallic_contrast_palette/:第八版输出、v7/v8 配色对比、色板、感知色差、源明暗保真度和几何锁定审计。
  • outputs/v9_native_4k_resolution/:第九版原生 4K 合成、v8/v9 全图和细节对照、分辨率增益、掩膜网格映射及 600 dpi 出版文件。
  • outputs/v10_brighter_background/:第十版背景提亮结果、v9/v10 全图及纯背景对照、亮度量化、几何/缓存锁定和同规格出版文件。
  • outputs/archive/:保留早期自动跟踪草稿,便于比较修正效果;不作为交付版本。
  • qa/:图契约和源码预检记录。

运行环境

v2/v3/v4/v5/v6/v7/v8/v9/v10 已使用同一个独立 Python 3.10 环境验证,依赖写在 requirements-v2.txt。核心版本为 PyTorch 2.3.1、OpenCV 4.10、Matplotlib 3.9、Ultralytics 8.2.42 和 Segment Anything 1.0。

SAM ViT-B 权重通过下列命令准备,下载完成后会核对 SHA256;models/sam_*.pth 已加入 .gitignore。

<v2-python> trajectory_project/scripts/download_sam_checkpoint.py

运行

cd <project-root>
<python-with-ultralytics> \
  trajectory_project/scripts/build_trajectory_figure.py \
  --video source/CLIP_P0010073.mov \
  --model trajectory_project/models/yolov8x-seg.pt \
  --config trajectory_project/config_v1.json \
  --out-dir trajectory_project/outputs/v1 \
  --device 0

GPU 只用于推理;占卡监控脚本不属于本项目。若需要释放显存,按用户约定先 pkill -f monitor.py,结束后重新执行用户提供的 cmd.sh 挂回监控。

主要交付文件:

  • trajectory_annotated.*:带三阶段时间条的首图候选。
  • trajectory_clean.*:无文字版,方便论文排版时另加标注。
  • composite_rgb.png:2560 px 原始合成底图。
  • cutouts_qa.jpg:20 个时间切片的逐帧掩膜复核图。
  • trajectory.csv、detections.json、masks.npz:可追溯中间数据。

v1–v8 的 PNG 按 183 mm 双栏宽度、300 dpi 导出,v9/v10 的 PNG 提高到 600 dpi;各版 TIFF 均为同尺寸 600 dpi,SVG/PDF 的文字保持可编辑。

运行 v10

cd <project-root>
<v2-python> trajectory_project/scripts/build_trajectory_figure_v10.py

v10 默认直接复用 v9 已确认的 4K 视频帧、YOLO/SAM 掩膜和渲染器,不重新运行检测或分割,也不需要停止占卡监控。与 v9 相比,配置中的唯一视觉变化是把全局背景亮度系数由 0.92 调到 1.30;版本名和输出文件名随版本更新。v10 曾依次使用 1.00、1.10 和 1.16,均已按反馈在同一分支和输出目录中由当前版本覆盖。

  • 13 个动作时刻、显示位置、逐姿态尺度、五色映射、色度迁移、alpha、阴影、层级和轨迹参数全部不变。
  • 背景仍由同一批固定机位视频帧、相同掩膜和修复逻辑生成,只执行统一的全局亮度调整,不做局部选择性提亮、生成式修补、锐化或超分辨率。
  • 顶部三分之一裁切、8:3 画面比例和右侧 12% 禁放区不变。
  • 原生 clean 图继续为 3840 × 1440;183 mm 出版 PNG/TIFF 继续为 4322 × 1621、600 dpi。

v10 主要交付文件:

  • trajectory_v10_brighter_background_clean_native.png:3840 × 1440 的原生无文字推荐图。
  • trajectory_v10_brighter_background_clean.*:183 mm、600 dpi 的 clean 出版包。
  • trajectory_v10_brighter_background_annotated.*:同规格带时间条和五色说明的出版包。
  • comparison_v9_v10_background.jpg:v9/v10 完整画面对照。
  • background_only_v9_v10.jpg:排除机器人后的背景板亮度对照。
  • background_brightness_metrics.json:平均/中位亮度、结构相关性和高光裁切审计。
  • geometry_lock_metrics.json、reuse_audit.json、resolution_metrics.json:验证前景输入、布局、缓存和导出规格未变化。

v10 的全画布平均亮度相对 v9 提高 40.4725%,中位亮度由 112.3822 提到 159.5406;亮度结构相关系数为 0.999037,触及通道上限的背景像素比例为 25.8126%,主要对应原本明亮的整片窗面。相对上一版 1.16 的 v10,平均亮度再提高约 11.34%。地面和窗框仍保留层次,但窗面已明显接近白色。v9/v10 冗余遮挡率均为 0.058965,逐姿态尺度差为 0,显示脚点最大数值偏差为 0.00048 px(来自 CSV 小数位),右侧 12% 区域仍无新增像素。该全局背景提亮属于论文展示处理,正式使用时应与姿态重排、统一缩放和五色编码一并在图注或方法中披露。

运行 v9

cd <project-root>
<v2-python> trajectory_project/scripts/build_trajectory_figure_v9.py

v9 默认复用 v8 已确认的 YOLO/SAM 分割结果,不重新运行检测或分割,也不需要停止占卡监控。与 v8 相比,它只改变处理像素网格和 PNG 导出 dpi:

  • 直接从 3840 × 2160、25 fps 的源视频读取指定帧,不先缩到 2560 × 1440。
  • 用最近邻把锁定的 2560 × 1440 二值掩膜映射到 3840 × 2160;这只提高边界坐标密度,不声称产生新的分割语义。
  • 所有归一化位置、逐姿态尺度、五色、色度迁移、alpha、阴影、层级、路径、顶部三分之一裁切和右侧 12% 禁放区均与 v8 相同。
  • 裁切后的原生内部画布由 2560 × 960 提高到 3840 × 1440,线性分辨率为 1.5 倍、像素数为 2.25 倍。
  • 不使用生成式超分辨率、AI 补细节或人工锐化;源视频为 H.264 8 bit,超出源视频的信息无法恢复。

v9 主要交付文件:

  • trajectory_v9_native_4k_clean_native.png:3840 × 1440 的逐像素原生无文字版,不经过论文尺寸重采样,追求最大真实清晰度时优先使用。
  • trajectory_v9_native_4k_clean.*:183 mm、600 dpi 的 clean 出版包,包含 PNG/TIFF/SVG/PDF。
  • trajectory_v9_native_4k_annotated.*:同尺寸带时间条和五组说明的出版包。
  • comparison_v8_v9_resolution.jpg:v8/v9 相同构图的整图对照。
  • detail_crops_v8_v9.png:6、14、40 s 的匹配区域 100% 像素细节对照;左侧是 v8 放大,右侧是 v9 原生 4K。
  • resolution_metrics.json:原生尺寸、真实细节增益、是否使用生成式超分辨率及逐姿态指标。
  • geometry_lock_metrics.json、mask_scaling_metrics.json:验证位置/尺度不变及掩膜只做最近邻网格映射。

v9 的结果与语义边界

13 个姿态相对“先缩到 v8 网格再放回 4K”的基线,高频细节增益最低为 1.140 倍、中位数为 1.233 倍,Laplacian 方差增益中位数为 2.151 倍。最终原生 clean 图为 3840 × 1440;论文 PNG/TIFF 均为 4322 × 1621、600 dpi,TIFF 为 RGB、LZW 无损压缩。显示脚点相对 v8 精确 1.5 倍坐标的最大偏差仅 0.0005 px,尺度差为 0;冗余遮挡率由 5.9055% 变为 5.8965%,0.009 个百分点的差异来自二值掩膜网格取整。右侧 12% 中 clean/annotated 仍为 0 个改动像素。

原生 4K 重渲染能恢复 v8 缩小处理时丢失的源像素,但不能突破 H.264 源视频本身的清晰度。若论文软件允许直接放置 PNG,优先用 clean_native.png;需要固定 183 mm、600 dpi 或期刊 TIFF 时使用标准 clean 出版文件。

运行 v8

cd <project-root>
<v2-python> trajectory_project/scripts/build_trajectory_figure_v8.py

v8 默认复用 v7 的视频帧、SAM 掩膜和修复背景,不重新运行 GPU 推理。它把 v7 作为严格几何基线,只允许改动五组色号和机器人内部的色度映射:

  • A(6、7 s):#1B9E77,翡翠绿。
  • B(12、14、31、32 s):#4C78A8,钢蓝。
  • C(27、44、45 s):#D9A02B,赭金。
  • D(40 s):#E45756,朱红。
  • E(52、53、56.5 s):#9D5BB7,紫罗兰。

同组时刻继续使用完全相同的色号。机器人内部不再用浅色覆盖:先保留源视频的 CIELAB L* 明暗结构,再把 46.75% 色度交给分组颜色,源颜色与 RGB 细节的有效贡献为 53.25%,最后只增加 1.5 L* 的微小亮度补偿。没有白色提升,轮廓、路径、alpha、阴影、层级顺序均不改。

v8 主要交付文件:

  • trajectory_v8_metallic_contrast_clean.*:推荐的无文字首图候选,导出 PNG/TIFF/SVG/PDF。
  • trajectory_v8_metallic_contrast_annotated.*:带阶段时间条和五色时间组说明版。
  • comparison_v7_v8.jpg:相同几何下的 v7 原版与 v8 金属质感配色对照。
  • palette_swatch.png、color_map.csv:五色色板和精确色号映射。
  • palette_metrics.json:逐组 CIEDE2000 色差、基础 L*、源明暗相关性和局部对比度保留率。
  • geometry_lock_metrics.json:逐帧验证位置、尺度、源帧、掩膜和非颜色配置与 v7 完全一致。

v8 的结果与语义边界

五组新色的最小两两 CIEDE2000 色差为 24.35,高于本项目设置的 20 阈值;着色后的 L* 与源机器人 L* 的最低相关系数为 0.9996,局部明暗对比保留率为 98.27%–100.03%,而 v7 为 57.22%–67.90%。13 个姿态的位置差和尺度差均为 0,冗余遮挡率仍为 5.9055%,最大叠加深度仍为 2;背景、分割缓存、裁切、右侧 12% 安全区和全部出版尺寸均与 v7 一致。颜色用于时间分组和视觉呈现,不代表真实材质、受力、速度或运动状态。

运行 v7

cd <project-root>
<v2-python> trajectory_project/scripts/build_trajectory_figure_v7.py

v7 默认原样复用 v6 的视频帧、SAM 掩膜和修复背景,只重渲染姿态尺度与后排纵坐标,再对最终合成图执行固定裁切;不重新占用 GPU。主要构图约束如下:

  • 最终画布从 2560 × 1440 裁为 2560 × 960,严格移除顶部 480 px,即原高度的三分之一;宽高比由 16:9 变为 8:3。
  • 13 个姿态的 v6 尺度全部乘以同一个 0.78,不改变彼此的相对尺度,因此前排大小一致性和 31/32 s 的近大远小关系保持不变。
  • 全部横向脚点和前排纵向脚点保持 v6 数值;只把 40/44/45/52/53/56.5 s 后排作为整体从 y = 800 px 下移到 y = 940 px,使最高的 40 s 姿态在裁切线下仍保留约 22 px 余量。
  • 后排仍以 290 px 固定间距排列并保持脚底齐平;缩小后与前排形成更明显的交错,最大叠加深度保持为 2。
  • 背景、五色分组、alpha、14 s 动作帧、轨迹局部补线和右侧 12% 禁放区均保持不变。

v7 主要交付文件:

  • trajectory_v7_wide_crop_clean.*:推荐的 8:3 无文字首图候选,导出 PNG/TIFF/SVG/PDF。
  • trajectory_v7_wide_crop_annotated.*:重新适配宽幅画布的阶段时间条和五色说明版。
  • comparison_v6_v7.jpg:v6 原图、v7 裁切窗口和最终宽幅结果的纵向对照。
  • crop_metrics.json、crop_fit_metrics.json:裁切比例、最终尺寸和逐姿态裁切余量。
  • scale_multiplier_metrics.json:逐帧验证全部尺度均严格等于 v6 尺度的 0.78 倍。
  • layout_map_wide.csv:在完整画布坐标之外补充裁切后脚点与边界坐标。

v7 的结果与语义边界

v7 冗余遮挡率为 5.91%,比 v6 的 8.35% 低 29.29%;最小逐姿态可见比例为 66.73%,最大叠加深度为 2。最终 PNG 为 2161 × 810、约 300 dpi,TIFF 为 4322 × 1621、RGB、600 dpi、LZW 无损压缩;右侧 12% 中 clean/annotated 改动像素均为 0。顶部裁切、统一缩放和后排纵向平移都属于展示性排版,不能解释为真实物理尺度、轨迹或位移。

运行 v6

cd <project-root>
<v2-python> trajectory_project/scripts/build_trajectory_figure_v6.py

v6 默认原样复用 v5 的视频帧、SAM 掩膜和修复背景,只重渲染尺度、位置与路径,不重新占用 GPU。主要构图约束如下:

  • 前排除 14 s 跳跃外,6/7/12/27 s 的显示高度归一到约 824–837 px,脚底处于同一水平线;14 s 的尺度和位置与 v5 完全一致。
  • 前排脚点间隔为约 400/350/345/355 px;6 s 横向展臂更宽,因此第一段保留稍大间距,其余三段接近等距。
  • 后排 40/44/45/52/53/56.5 s 统一尺度 0.90、脚底 y = 800 px,并以 290 px 的固定步长排开;相对 v5 下移约 80–180 px。
  • 31 s 使用 0.78,32 s 使用 0.90;结合源帧中的实际大小后,近处 31 s 的显示高度约为远处 32 s 的 1.188 倍。
  • 彩色路径仍在姿态后方绘制,只对被机器人掩膜遮住的路径像素补一条 alpha = 0.48 的细彩线,不二次描白整条路径。

v6 主要交付文件:

  • trajectory_v6_grounded_uniform_clean.*:推荐的无文字首图候选,导出 PNG/TIFF/SVG/PDF。
  • trajectory_v6_grounded_uniform_annotated.*:带阶段时间条、五色时间组和尺度范围的说明版。
  • comparison_v5_v6.jpg:v5 低遮挡错位布局、v6 均匀落地布局和安全区对照。
  • row_layout_metrics.json:前排高度变异、前后排间距和脚底高度、31/32 s 近远比例。
  • path_overlay_metrics.json:原路径被遮挡的比例和补画参数。
  • occlusion_metrics.json、layout_change_audit.json、reuse_audit.json:遮挡、位置尺度与复用完整性审计。

v6 的结果与语义边界

v6 冗余遮挡率为 8.35%,高于只追求最低遮挡的 v5(5.79%),但仍比 v4(11.18%)低 25.31%,最大叠加深度由 3 降为 2。这个变化是为了换取严格齐平的后排、均匀间距和落地轨迹;31/44 s 与 32/40 s 仍保持 0 像素交叠。彩色线和全局位置均为展示布局,不代表真实物理轨迹、速度或位移。

运行 v5

cd <project-root>
<v2-python> trajectory_project/scripts/build_trajectory_figure_v5.py

v5 默认从 outputs/v4_frame_timing_background_fix/ 读取并原样复制 YOLO/SAM 缓存,因此只重渲染布局,不重新占用 GPU。需要改变输入位置时,可显式传入 --video、--config、--out-dir 或 --segmentation-source。

v5 保持 v4 的 13 个源时刻、五色映射、透明度、背景和右侧 12% 禁放区不变。布局调整集中在以下位置:

  • 6/7 s 同步从 0.92 放大到 0.96,并拉开横向间距,使两者与 12/14 s 的视觉尺度更协调。
  • 31 s 单独缩到 0.82 并下移,避免挡住后方姿态;14 s 继续少量上移。
  • 40–56.5 s 整体向左展开,并按上下错位方式交错排布;40/44 s 不再分别被 32/31 s 遮住。
  • 辅助标注框缩到 56.5 s 姿态左侧;clean 主图本身不含该标注框。

v5 主要交付文件:

  • trajectory_v5_occlusion_tuned_clean.*:推荐的无文字首图候选,导出 PNG/TIFF/SVG/PDF。
  • trajectory_v5_occlusion_tuned_annotated.*:带三阶段时间条、五色时间组和尺度披露的版本。
  • comparison_v4_v5.jpg:v4、v5 与右侧裁切安全区对照。
  • occlusion_metrics.json:逐姿态可见率、指定遮挡对和 v4/v5 总遮挡对比。
  • layout_change_audit.json、layout_map.csv:每个时刻的目标位置、最终位置和尺度变化。
  • reuse_audit.json:v4/v5 背景与复用分割缓存的 SHA256 一致性检查。

v5 的结果与语义边界

冗余遮挡率由 v4 的 11.18% 降到 5.79%,相对减少 48.26%;31/44 s 与 32/40 s 的掩膜交叠均降为 0,6/7 s 的相对交叠从 11.13% 降到 3.35%。这些数值衡量的是展示布局可读性,不是物理轨迹误差。彩色线仍只表示排版后的阅读顺序;位置和 6/7/31 s 的显示尺度都经过明确调整,真实运动分析必须回到源视频坐标。

运行 v4

cd <project-root>
<v2-python> \
  trajectory_project/scripts/build_trajectory_figure_v4.py \
  --video source/CLIP_P0010073.mov \
  --yolo-model trajectory_project/models/yolov8x-seg.pt \
  --sam-checkpoint trajectory_project/models/sam_vit_b_01ec64.pth \
  --config trajectory_project/config_v4_frame_timing_background_fix.json \
  --out-dir trajectory_project/outputs/v4_frame_timing_background_fix \
  --device cuda:0

只重渲染布局、标注和背景修补时复用 14 帧分割缓存:

<v2-python> trajectory_project/scripts/build_trajectory_figure_v4.py --reuse-segmentation

v4 使用的五色时间组为:

  • A(青色):6、7 s。
  • B(蓝色):12、14、31、32 s。
  • C(金色):27、44、45 s。
  • D(珊瑚色):40 s。
  • E(紫色):52、53、56.5 s。

v4 主要交付文件:

  • trajectory_v4_timing_background_clean.*:无文字首图候选,导出 PNG/TIFF/SVG/PDF。
  • trajectory_v4_timing_background_annotated.*:带三阶段时间条和五色时间组说明的版本。
  • comparison_v3_v4.jpg:锁定的 v3 布局、v4 结果和裁切安全区对照。
  • background_fix_qa.jpg、background_fix_metrics.json:背景残影修补前后和局部变化范围。
  • layout_change_audit.json、layout_map.csv:v3/v4 槽位映射、14 s 上移量及最终入画位置。
  • requested_keyframes.jpg、sam_refinement_qa.jpg、sam_metrics.json:指定源帧和分割质量检查。

v4 的变更边界

v4 复用 v3 的颜色、0.92 统一尺度、透明度、S 形槽位与右侧 12% 禁放区。除 14 s 上移 27.36 px 外,归一化布局目标不变;6 s 横向展臂为避免被裁切触发了既有画内约束。背景只修补 44 s 供体残影对应的局部区域,像素来自同一固定机位的 31 s 原始帧,不使用生成式内容。

运行 v3

cd <project-root>
<v2-python> \
  trajectory_project/scripts/build_trajectory_figure_v3.py \
  --video source/CLIP_P0010073.mov \
  --yolo-model trajectory_project/models/yolov8x-seg.pt \
  --sam-checkpoint trajectory_project/models/sam_vit_b_01ec64.pth \
  --config trajectory_project/config_v3_custom_frames_layout.json \
  --out-dir trajectory_project/outputs/v3_custom_frames_layout \
  --device cuda:0

只调整颜色、尺度、布局或标注时复用 15 帧分割缓存:

<v2-python> trajectory_project/scripts/build_trajectory_figure_v3.py --reuse-segmentation

v3 严格使用 13 个指定时间点,五色映射如下:

  • A(青色):7、8 s。
  • B(蓝色):12、14、32、33 s。
  • C(金色):27、45、50 s。
  • D(珊瑚色):40 s。
  • E(紫色):52、53、57 s。

v3 主要交付文件:

  • trajectory_v3_custom_frames_clean.*:无文字的首图候选,导出 PNG/TIFF/SVG/PDF。
  • trajectory_v3_custom_frames_annotated.*:带三阶段时间条、指定帧标记和五色图例的版本。
  • comparison_v2_v3.jpg:v2、v3 与右侧裁切安全区 QA 的对比。
  • safe_area_qa.png、safe_area_metrics.json:把右侧 12% 标红并验证最终 overlay 没有进入该区域。
  • requested_keyframes.jpg:13 个指定源帧及其颜色组。
  • color_map.csv、layout_map.csv:逐组颜色和逐帧位置、统一缩放后的边界框。
  • segmentation_cache.npz、sam_refinement_qa.jpg、sam_metrics.json:可复用分割缓存与边缘检查。

v3 的语义边界

v3 不显示灰色真实轨迹。彩色线只连接重新排版后的姿态,表示阅读次序,不能解释为真实物理运动路径。所有机器人统一使用 scale_factor = 0.92,因此相对的近大远小关系保持不变;画面右侧 12% 只保留背景,便于后续裁切。

运行 v2

cd <project-root>
<v2-python> \
  trajectory_project/scripts/build_trajectory_figure_v2.py \
  --video source/CLIP_P0010073.mov \
  --seed-dir trajectory_project/outputs/v1 \
  --config trajectory_project/config_v2_sam_layout.json \
  --out-dir trajectory_project/outputs/v2_sam_layout \
  --device cuda:0

只调整布局、透明度或标注时,可以复用已保存的 SAM 掩膜,避免重复推理:

<v2-python> trajectory_project/scripts/build_trajectory_figure_v2.py --reuse-refined

v2 主要交付文件:

  • trajectory_v2_layout_expanded_clean.*:无文字的首图候选,完整导出 PNG/TIFF/SVG/PDF。
  • trajectory_v2_layout_expanded_annotated.*:带阶段时间条、轨迹图例和布局披露的版本。
  • trajectory_v2_true_position.png:同一批 12 帧保留真实像素位置的对照版。
  • comparison_v1_v2.jpg:v1、v2 真实位置和 v2 展开布局的三方对比。
  • sam_refinement_qa.jpg、sam_metrics.csv/json:SAM 边缘和逐帧指标。
  • layout_map.csv:每帧真实脚点、展示脚点、平移量、透明度和恒定尺度因子。
  • overlap_metrics.json:真实位置与展开布局的掩膜遮挡量化。

展开布局的语义边界

展开版为了首图可读性,允许把整个人形机器人切片做二维平移,但固定 scale_factor = 1.0,不缩放、不旋转、不变形。灰色虚线是真实图像平面轨迹;彩色实线只连接展开后的展示位置,不能在论文中称为真实物理轨迹。图注和方法中应明确写明:pose positions expanded for visibility; source scale retained。

第一版图契约

核心结论:G1 在同一个固定场景中完成“近景原地动作 → 向后跑动 → 远景动作”的连续时空运动,轨迹图同时呈现动作多样性和明显的尺度变化。

图形类型:image plate + custom temporal overlay。主证据是背景上的时间切片实体和脚底轨迹;顶部阶段条只承担阅读辅助,不作为定量证据。

第一版是视觉草稿,不把检测类别(COCO 的 person/bicycle 等)当作科学结论;所有切片的源帧时间和检测框/掩膜信息都写入 outputs/v1,便于人工复核和后续换成专门的 G1/SAM 分割器。