Add files using upload-large-folder tool

DATA_SETUP.md

@@ -6,7 +6,7 @@
 `robometer/processed_datasets` repository; it is not an upstream release name.
 The official trajectory `.npz` files are deliberately not duplicated here.
 
-This private repository stores only assets that the official download cannot
+This repository stores assets that the official download cannot
 recreate by itself:
 
 - the frozen 2,689-row Phase 2.1A pair manifest;

OFFLINE_UV_DEPLOYMENT.md

@@ -0,0 +1,146 @@
+# Phase 2.1A 纯 uv 离线部署
+
+本仓库提供不依赖 Conda、也不要求训练服务器访问 PyPI/PyTorch index 的离线环境包。
+
+## 已发布环境包
+
+| 项目 | 值 |
+|---|---|
+| 文件 | `offline_env/phase21a-uv-linux-x86_64-cu128-20260828.tar.zst` |
+| 大小 | 3,940,678,637 bytes（约 3.67 GiB） |
+| SHA256 | `070f52ae3e778128508f12d6eecdba1dddfc37e613dd0be25cca1ce9e38c37a4` |
+| 平台 | Linux x86_64 |
+| uv / Python | uv 0.11.3 / CPython 3.10.12 |
+| PyTorch | 2.8.0+cu128 |
+| FlashAttention | 2.8.3.post1，本机预构建 wheel 已进入 cache |
+
+归档包含 uv 可执行文件、uv-managed Python、项目专用 uv cache、`pyproject.toml`、
+`uv.lock`、环境 doctor、manifest 和离线安装脚本。它不包含 Conda，也不包含从当前
+机器复制的 `.venv`。
+
+构建验证包括：在全新空目录中使用 `--offline --no-python-downloads --frozen` 安装
+50 个包、`uv pip check`、关键包 CPU import，以及第二次 frozen dry-run 无变更。
+
+## 在有网络的机器下载
+
+训练服务器网络受限时，不要在服务器上执行以下下载；应在能访问 Hugging Face 的机器
+下载后，通过云平台文件上传或对象存储传入服务器。
+
+```bash
+hf download ar-mine/cosmos-robometer-private-code \
+  offline_env/phase21a-uv-linux-x86_64-cu128-20260828.tar.zst \
+  offline_env/SHA256SUMS \
+  --local-dir /path/to/phase21a-transfer
+
+cd /path/to/phase21a-transfer/offline_env
+sha256sum --check SHA256SUMS
+```
+
+代码本体也应在有网络的机器下载，并固定到经过验证的 commit：
+
+```bash
+hf download ar-mine/cosmos-robometer-private-code \
+  --revision <PINNED_KIT_COMMIT> \
+  --exclude 'offline_env/*.tar.zst' \
+  --local-dir /path/to/cosmos-robometer-private-code
+```
+
+## 在无网络服务器安装
+
+```bash
+mkdir -p /srv/phase21a-offline
+tar --zstd -xf phase21a-uv-linux-x86_64-cu128-20260828.tar.zst \
+  -C /srv/phase21a-offline
+
+/srv/phase21a-offline/phase21a_uv_linux_x86_64/install_offline.sh \
+  /srv/cosmos-robometer-private-code
+```
+
+安装脚本只使用归档中的 Python 与 cache，目标环境为：
+
+```text
+/srv/cosmos-robometer-private-code/environment/phase21a_robometer/.venv
+```
+
+然后在训练节点执行完整 GPU 门禁：
+
+```bash
+/srv/cosmos-robometer-private-code/environment/phase21a_robometer/.venv/bin/python \
+  /srv/cosmos-robometer-private-code/environment/phase21a_robometer/doctor.py
+```
+
+必须通过 CUDA 12.8、BF16 和 FlashAttention CUDA probe 才能开始 smoke test。
+
+## 必须单独准备的内容
+
+uv 只复刻 Python 用户态环境。下面的输入不在离线环境归档中：
+
+| 内容 | 是否为 Phase 2.1A 训练必需 | 准备方式 |
+|---|---:|---|
+| Linux x86_64 主机与 NVIDIA 驱动 | 是 | 云端镜像提供；驱动必须兼容 CUDA 12.8 |
+| Qwen3-VL-4B base snapshot | 是 | 下载 `unsloth/Qwen3-VL-4B-Instruct` 固定 revision `252d592b59b0233b226875a44ac135cfa1d3f755` |
+| `stage2_core_v1` 官方轨迹 | 是 | 用 `scripts/download_stage2_core_v1.py` 从 `robometer/processed_datasets@1a8eb2d279c70964fadeaf8019a77c490c3abe02` 下载 |
+| 冻结 pair manifest | 是 | 已在本仓库 `manifests/phase2_remediation_pairs_v1.jsonl` |
+| action sidecars | 当前 reward 训练否；后续 action 实验需要 | 已在本仓库 `derived/action_sidecars_stage2_action_sidecar_v1.tar` |
+| RBM-EVAL-OOD | 正式训练否；最终固定评估可选 | 6 个 archive、1,627,443,200 bytes、571 trajectories；不得用于 checkpoint/超参数选择 |
+| 训练输出盘 | 是 | 独立可写目录，保存 checkpoint、best model、progress 与 ID-dev 日志 |
+| Hugging Face token | 只在受限/私有下载时需要 | 单独注入服务器 secret；不得写入环境包或代码仓库 |
+
+### 1. Base model
+
+在联网机器下载固定 revision：
+
+```bash
+hf download unsloth/Qwen3-VL-4B-Instruct \
+  --revision 252d592b59b0233b226875a44ac135cfa1d3f755 \
+  --local-dir /path/to/qwen3-vl-4b-instruct-252d592
+```
+
+把完整目录传到云端，并在训练配置中使用本地 snapshot 路径。不要在受限服务器上使用
+浮动的 `main`。
+
+### 2. Public-Proxy `stage2_core_v1`
+
+在联网且至少有 230 GiB 可用空间的机器运行：
+
+```bash
+cd /path/to/cosmos-robometer-private-code
+environment/phase21a_robometer/.venv/bin/python \
+  scripts/download_stage2_core_v1.py \
+  --output-dir /path/to/stage2_core_v1/archives
+
+environment/phase21a_robometer/.venv/bin/python \
+  scripts/extract_stage2_core_v1.py \
+  --archive-root /path/to/stage2_core_v1/archives \
+  --extract-root /path/to/stage2_core_v1/processed_datasets \
+  --output /path/to/stage2_core_v1/extraction_report.json
+```
+
+活动 profile 为约 106.9 GiB 压缩数据，共 14 个物理 archive。不要使用 Robometer
+未修改的全量下载脚本，因为它会下载浮动 revision 的多 TB 数据。
+
+### 3. Action sidecar
+
+Phase 2.1A 的 Robometer-Low-LoRA/Robometer-Low reward 训练不读取 action sidecar。
+后续 action-conditioned Cosmos 实验需要时再解压：
+
+```bash
+mkdir -p /path/to/stage2_core_v1/derived
+tar -xf derived/action_sidecars_stage2_action_sidecar_v1.tar \
+  -C /path/to/stage2_core_v1/derived
+sha256sum --check derived/action_sidecars_stage2_action_sidecar_v1.tar.sha256
+```
+
+### 4. OOD 数据
+
+RBM-EVAL-OOD 可以完全不传入训练节点。只有模型、分析代码和选择结果冻结后，才在独立
+评估阶段使用；它不能进入训练 loop、early stopping 或 checkpoint selection。
+
+## 容量提示
+
+- 离线归档：约 3.67 GiB；
+- 解压后的 uv 素材：约 8.1 GiB cache + 0.13 GiB uv/Python；
+- 创建出的 `.venv`：约 7.7 GiB；
+- 环境部署建议至少预留 20 GiB；
+- 数据和模型空间需另行计算。
+

README.md

@@ -5,12 +5,12 @@ tags:
   - reward-modeling
   - qwen3-vl
   - peft
-  - private-training-code
+  - offline-training
 ---
 
 # Cosmos–Robometer Phase 2.1A training code
 
-Private, portable training kit for the approved `Public-Proxy stage2_core_v1`
+Portable training kit for the approved `Public-Proxy stage2_core_v1`
 experiments:
 
 - `Robometer-Low-LoRA`: implemented formal trainer with frozen ID-dev evaluation,
@@ -18,9 +18,11 @@ experiments:
 - `Robometer-Low`: full language-decoder smoke test. Formal training remains
   intentionally blocked until suitable multi-GPU/server memory is available.
 
-No dataset files, model weights, checkpoints, Hugging Face cache, local virtual
-environment, credentials, OOD evaluation data, or machine-specific run logs are
-included.
+The repository does not duplicate the official Robometer trajectory archives,
+model weights, checkpoints, credentials, OOD evaluation archives, or
+machine-specific run logs. It does contain derived action sidecars and their
+manifests: 20,620 sidecar files are packaged in a 455,188,480-byte tar archive.
+These sidecars are not consumed by the Phase 2.1A reward-model training loop.
 
 ## Recreate the environment
 
@@ -34,6 +36,11 @@ uv run --project environment/phase21a_robometer \
 The environment is locked for PyTorch 2.8.0/CUDA 12.8. The reference smoke
 hardware was one RTX 5090 with 32,607 MiB VRAM.
 
+For a server with restricted or no network access, download the validated pure
+uv offline archive under `offline_env/`. It includes uv 0.11.3, CPython 3.10.12,
+all 50 locked packages, CUDA 12.8 Python wheels, and the locally built
+FlashAttention wheel. See [OFFLINE_UV_DEPLOYMENT.md](OFFLINE_UV_DEPLOYMENT.md).
+
 ## External inputs
 
 - Base model: `unsloth/Qwen3-VL-4B-Instruct` at revision
@@ -43,10 +50,9 @@ hardware was one RTX 5090 with 32,607 MiB VRAM.
   `1a8eb2d279c70964fadeaf8019a77c490c3abe02`.
 - Frozen Phase 2.1A subset: 2,689 pair rows referencing 4,323 trajectory files.
 
-The planned dataset repository is
-`ar-mine/cosmos-robometer-public-dataset`.
-Until it is available, the subset can be reconstructed from the pinned official
-Robometer processed-data repository and the frozen dataset manifest.
+There is no separate `ar-mine/cosmos-robometer-public-dataset` repository. The
+subset is reconstructed from the pinned official Robometer processed-data
+repository and the frozen dataset manifest in this repository.
 
 ## Training
 
@@ -66,6 +72,7 @@ formal `Robometer-Low` comparison.
 
 ## Redistribution
 
-This private repository contains experiment code and metadata only. It does not
-grant redistribution rights for upstream datasets or model weights. Review the
-terms of each upstream source before making any derived dataset public.
+This public repository includes experiment code, metadata, and recovered action
+sidecars, but does not grant redistribution rights for upstream datasets or
+model weights. Review the terms of each upstream source before reusing or
+redistributing derived assets.

TRAINING_MANUAL.md

@@ -1,6 +1,6 @@
 # Phase 2.1A 训练手册
 
-日期：2026-08-27  
+日期：2026-08-28  
 对象：`Robometer-Low-LoRA` 与 `Robometer-Low`  
 数据：`Public-Proxy stage2_core_v1` 的冻结 5% pair manifest
 
@@ -23,7 +23,7 @@
 | 分支 | 状态 | 可以做什么 |
 |---|---|---|
 | Robometer-Low-LoRA v1 | 已按用户要求停止 | 日志到 step 246；最新完整 checkpoint 为 step 4 |
-| Robometer-Low-LoRA v2 | 已配置，未正式启动 | 3,000-step cap、在线 ID-dev、早停和最佳 checkpoint 恢复 |
+| Robometer-Low-LoRA v2 | 正式训练运行中 | 3,000-step cap、在线 ID-dev、早停和最佳 checkpoint 恢复 |
 | Robometer-Low | 等待服务器资源和正式 runner | 单卡容量 smoke；不能把当前 smoke 当正式训练入口 |
 
 LoRA v1 已停止且不再续训。v2 使用全新 output root；禁止拿 v1 的 step-4 checkpoint 恢复到 v2，
@@ -47,7 +47,8 @@ LoRA v1 已停止且不再续训。v2 使用全新 output root；禁止拿 v1
 | qwen-vl-utils | 0.0.14 |
 | NumPy / Pillow | 1.26.4 / 11.3.0 |
 
-可部署环境固定在 `environment/phase21a_robometer/pyproject.toml` 和 `uv.lock`，不复制 `.venv`：
+可部署环境固定在 `environment/phase21a_robometer/pyproject.toml` 和 `uv.lock`，不复制 `.venv`。
+网络正常时可直接重建：
 
 ```bash
 cd /srv/phase21a-kit
@@ -60,6 +61,17 @@ uv run --project environment/phase21a_robometer \
 如果上传包内保存了相同 `pyproject.toml` 和 `uv.lock`，仍要在目标 CUDA/driver 上重新创建环境。
 不要为上传工具升级训练 venv；`hf` CLI 可使用单独小环境。
 
+服务器网络受限时，使用仓库中的纯 uv 离线归档，不需要 Conda：
+
+```bash
+tar --zstd -xf offline_env/phase21a-uv-linux-x86_64-cu128-20260828.tar.zst \
+  -C /srv/phase21a-offline
+/srv/phase21a-offline/phase21a_uv_linux_x86_64/install_offline.sh \
+  /srv/phase21a-kit
+```
+
+完整说明与必须单独准备的 model/data/driver/OOD 清单见 `OFFLINE_UV_DEPLOYMENT.md`。
+
 ## 4. 下载并固定输入
 
 以下使用示例变量；按服务器目录修改：
@@ -71,17 +83,21 @@ PHASE21A_MODEL=/srv/models/qwen3-vl-4b-instruct-252d592
 PHASE21A_RUNS=/srv/phase21a-runs
 ```
 
-下载 training kit 和 dataset：
+下载 training kit。当前不存在单独的 `ar-mine/cosmos-robometer-public-dataset`
+仓库；官方轨迹按 `DATA_SETUP.md` 从固定 Robometer revision 重建：
 
 ```bash
 hf download ar-mine/cosmos-robometer-private-code \
   --revision <KIT_COMMIT> \
   --local-dir "$PHASE21A_KIT"
 
-hf download ar-mine/cosmos-robometer-public-dataset \
-  --repo-type dataset \
-  --revision <DATA_COMMIT> \
-  --local-dir "$PHASE21A_DATA"
+cd "$PHASE21A_KIT"
+environment/phase21a_robometer/.venv/bin/python scripts/download_stage2_core_v1.py \
+  --output-dir "$PHASE21A_DATA/archives"
+environment/phase21a_robometer/.venv/bin/python scripts/extract_stage2_core_v1.py \
+  --archive-root "$PHASE21A_DATA/archives" \
+  --extract-root "$PHASE21A_DATA/processed_datasets" \
+  --output "$PHASE21A_DATA/extraction_report.json"
 ```
 
 下载精确基础模型；不要使用浮动 `main`：
@@ -98,7 +114,7 @@ hf download unsloth/Qwen3-VL-4B-Instruct \
 
 ```bash
 cd "$PHASE21A_DATA"
-sha256sum --check SHA256SUMS
+sha256sum --check "$PHASE21A_KIT/manifests/stage2_subset_SHA256SUMS"
 ```
 
 再运行 dataset bundle 工具的 dry-run，把 `--output-dir` 指向任意不会执行复制的路径：
@@ -106,7 +122,7 @@ sha256sum --check SHA256SUMS
 ```bash
 cd "$PHASE21A_KIT"
 uv run --project environment/phase21a_robometer python scripts/build_phase21a_hf_dataset_bundle.py \
-  --manifest "$PHASE21A_DATA/manifests/phase2_remediation_pairs_v1.jsonl" \
+  --manifest "$PHASE21A_KIT/manifests/phase2_remediation_pairs_v1.jsonl" \
   --processed-root "$PHASE21A_DATA/processed_datasets" \
   --output-dir /tmp/phase21a-dry-run
 ```
@@ -174,7 +190,7 @@ uv run --project environment/phase21a_robometer \
 cd "$PHASE21A_KIT"
 uv run --project environment/phase21a_robometer python scripts/smoke_phase21a_robometer_low.py \
   --snapshot "$PHASE21A_MODEL" \
-  --manifest "$PHASE21A_DATA/manifests/phase2_remediation_pairs_v1.jsonl" \
+  --manifest "$PHASE21A_KIT/manifests/phase2_remediation_pairs_v1.jsonl" \
   --processed-root "$PHASE21A_DATA/processed_datasets" \
   --micro-batch-pairs 32 \
   --gradient-accumulation 2 \
@@ -203,7 +219,7 @@ portable runner 已支持显式模型、manifest 和数据路径：
 cd "$PHASE21A_KIT"
 uv run --project environment/phase21a_robometer python scripts/run_phase21a_robometer_low_lora_seeds.py \
   --snapshot "$PHASE21A_MODEL" \
-  --manifest "$PHASE21A_DATA/manifests/phase2_remediation_pairs_v1.jsonl" \
+  --manifest "$PHASE21A_KIT/manifests/phase2_remediation_pairs_v1.jsonl" \
   --processed-root "$PHASE21A_DATA/processed_datasets" \
   --output-root "$PHASE21A_RUNS/robometer-low-lora-v2" \
   --seeds 7 17 27 \

offline_env/README.md

@@ -0,0 +1,10 @@
+# Offline uv environment artifact
+
+Download `phase21a-uv-linux-x86_64-cu128-20260828.tar.zst` on a connected
+machine, verify it with `SHA256SUMS`, then transfer it to the restricted training
+server. Full instructions and the external-artifact checklist are in
+[`../OFFLINE_UV_DEPLOYMENT.md`](../OFFLINE_UV_DEPLOYMENT.md).
+
+This archive is for Linux x86_64 only. It contains no credentials, model
+weights, Robometer trajectory archives, OOD data, checkpoints, or Conda files.
+

offline_env/SHA256SUMS

@@ -0,0 +1 @@
+070f52ae3e778128508f12d6eecdba1dddfc37e613dd0be25cca1ce9e38c37a4  phase21a-uv-linux-x86_64-cu128-20260828.tar.zst

offline_env/phase21a-uv-linux-x86_64-cu128-20260828.tar.zst

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:070f52ae3e778128508f12d6eecdba1dddfc37e613dd0be25cca1ce9e38c37a4
+size 3940678637

reports/PHASE21A_TRAINING_MANUAL.md

@@ -1,6 +1,6 @@
 # Phase 2.1A 训练手册
 
-日期：2026-08-27  
+日期：2026-08-28  
 对象：`Robometer-Low-LoRA` 与 `Robometer-Low`  
 数据：`Public-Proxy stage2_core_v1` 的冻结 5% pair manifest
 
@@ -23,7 +23,7 @@
 | 分支 | 状态 | 可以做什么 |
 |---|---|---|
 | Robometer-Low-LoRA v1 | 已按用户要求停止 | 日志到 step 246；最新完整 checkpoint 为 step 4 |
-| Robometer-Low-LoRA v2 | 已配置，未正式启动 | 3,000-step cap、在线 ID-dev、早停和最佳 checkpoint 恢复 |
+| Robometer-Low-LoRA v2 | 正式训练运行中 | 3,000-step cap、在线 ID-dev、早停和最佳 checkpoint 恢复 |
 | Robometer-Low | 等待服务器资源和正式 runner | 单卡容量 smoke；不能把当前 smoke 当正式训练入口 |
 
 LoRA v1 已停止且不再续训。v2 使用全新 output root；禁止拿 v1 的 step-4 checkpoint 恢复到 v2，
@@ -47,7 +47,8 @@ LoRA v1 已停止且不再续训。v2 使用全新 output root；禁止拿 v1
 | qwen-vl-utils | 0.0.14 |
 | NumPy / Pillow | 1.26.4 / 11.3.0 |
 
-可部署环境固定在 `environment/phase21a_robometer/pyproject.toml` 和 `uv.lock`，不复制 `.venv`：
+可部署环境固定在 `environment/phase21a_robometer/pyproject.toml` 和 `uv.lock`，不复制 `.venv`。
+网络正常时可直接重建：
 
 ```bash
 cd /srv/phase21a-kit
@@ -60,6 +61,17 @@ uv run --project environment/phase21a_robometer \
 如果上传包内保存了相同 `pyproject.toml` 和 `uv.lock`，仍要在目标 CUDA/driver 上重新创建环境。
 不要为上传工具升级训练 venv；`hf` CLI 可使用单独小环境。
 
+服务器网络受限时，使用仓库中的纯 uv 离线归档，不需要 Conda：
+
+```bash
+tar --zstd -xf offline_env/phase21a-uv-linux-x86_64-cu128-20260828.tar.zst \
+  -C /srv/phase21a-offline
+/srv/phase21a-offline/phase21a_uv_linux_x86_64/install_offline.sh \
+  /srv/phase21a-kit
+```
+
+完整说明与必须单独准备的 model/data/driver/OOD 清单见 `OFFLINE_UV_DEPLOYMENT.md`。
+
 ## 4. 下载并固定输入
 
 以下使用示例变量；按服务器目录修改：
@@ -71,17 +83,21 @@ PHASE21A_MODEL=/srv/models/qwen3-vl-4b-instruct-252d592
 PHASE21A_RUNS=/srv/phase21a-runs
 ```
 
-下载 training kit 和 dataset：
+下载 training kit。当前不存在单独的 `ar-mine/cosmos-robometer-public-dataset`
+仓库；官方轨迹按 `DATA_SETUP.md` 从固定 Robometer revision 重建：
 
 ```bash
 hf download ar-mine/cosmos-robometer-private-code \
   --revision <KIT_COMMIT> \
   --local-dir "$PHASE21A_KIT"
 
-hf download ar-mine/cosmos-robometer-public-dataset \
-  --repo-type dataset \
-  --revision <DATA_COMMIT> \
-  --local-dir "$PHASE21A_DATA"
+cd "$PHASE21A_KIT"
+environment/phase21a_robometer/.venv/bin/python scripts/download_stage2_core_v1.py \
+  --output-dir "$PHASE21A_DATA/archives"
+environment/phase21a_robometer/.venv/bin/python scripts/extract_stage2_core_v1.py \
+  --archive-root "$PHASE21A_DATA/archives" \
+  --extract-root "$PHASE21A_DATA/processed_datasets" \
+  --output "$PHASE21A_DATA/extraction_report.json"
 ```
 
 下载精确基础模型；不要使用浮动 `main`：
@@ -98,7 +114,7 @@ hf download unsloth/Qwen3-VL-4B-Instruct \
 
 ```bash
 cd "$PHASE21A_DATA"
-sha256sum --check SHA256SUMS
+sha256sum --check "$PHASE21A_KIT/manifests/stage2_subset_SHA256SUMS"
 ```
 
 再运行 dataset bundle 工具的 dry-run，把 `--output-dir` 指向任意不会执行复制的路径：
@@ -106,7 +122,7 @@ sha256sum --check SHA256SUMS
 ```bash
 cd "$PHASE21A_KIT"
 uv run --project environment/phase21a_robometer python scripts/build_phase21a_hf_dataset_bundle.py \
-  --manifest "$PHASE21A_DATA/manifests/phase2_remediation_pairs_v1.jsonl" \
+  --manifest "$PHASE21A_KIT/manifests/phase2_remediation_pairs_v1.jsonl" \
   --processed-root "$PHASE21A_DATA/processed_datasets" \
   --output-dir /tmp/phase21a-dry-run
 ```
@@ -174,7 +190,7 @@ uv run --project environment/phase21a_robometer \
 cd "$PHASE21A_KIT"
 uv run --project environment/phase21a_robometer python scripts/smoke_phase21a_robometer_low.py \
   --snapshot "$PHASE21A_MODEL" \
-  --manifest "$PHASE21A_DATA/manifests/phase2_remediation_pairs_v1.jsonl" \
+  --manifest "$PHASE21A_KIT/manifests/phase2_remediation_pairs_v1.jsonl" \
   --processed-root "$PHASE21A_DATA/processed_datasets" \
   --micro-batch-pairs 32 \
   --gradient-accumulation 2 \
@@ -203,7 +219,7 @@ portable runner 已支持显式模型、manifest 和数据路径：
 cd "$PHASE21A_KIT"
 uv run --project environment/phase21a_robometer python scripts/run_phase21a_robometer_low_lora_seeds.py \
   --snapshot "$PHASE21A_MODEL" \
-  --manifest "$PHASE21A_DATA/manifests/phase2_remediation_pairs_v1.jsonl" \
+  --manifest "$PHASE21A_KIT/manifests/phase2_remediation_pairs_v1.jsonl" \
   --processed-root "$PHASE21A_DATA/processed_datasets" \
   --output-root "$PHASE21A_RUNS/robometer-low-lora-v2" \
   --seeds 7 17 27 \