Instructions to use Lyndow/ExoWrist_Smolvla with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Piper
How to use Lyndow/ExoWrist_Smolvla with Piper:
# No code snippets available yet for this library. # To use this model, check the repository files and the library's documentation. # Want to help? PRs adding snippets are welcome at: # https://github.com/huggingface/huggingface.js
- Notebooks
- Google Colab
- Kaggle
ExoWrist 实测模型与复现包 · 2026-11-16
此仓库保存当前服务器上仍存在的动作 checkpoint、意图/骨架权重、基础依赖、对应源码、配置和实验依据。它是多版本实验归档,**不能把仓库根目录直接传给 SmolVLAPolicy.from_pretrained()**。
真机验证尚未完成。现有模型经过仿真评估;没有已验证的现场摄像头标定、Piper 电机执行桥或异步实时控制。提供的默认入口只计算动作并输出 JSON,不向 CAN 总线发控制命令。
先选择版本
| 版本 | 选定 checkpoint | 用途 | 已有证据 |
|---|---|---|---|
| F | models/F/best.pt |
原架构 SmolVLA 动作专家 + 两个原有视觉上下文层适配 | 外部视觉触发完整流程 2/4;显式请求后的动作子任务 + RTC 3/4 |
| J1 | models/J1/best.pt |
F 初始化,联合训练意图/空间/事件头及动作参数 | 自身意图触发完整流程 2/4,负例正确不启动 1/1 |
| R1 保守版 | models/R1_conservative/updated.pt |
F + 0.1 × (R1 − F),单 checkpoint 推理 | 抓起 4/4,完整完成 1/4,负例不启动 1/1 |
| R1 完整更新 | models/R1/last.pt |
真实示教 + 仿真示教混合微调 F | 完整流程 0/4;保留用于回归比较,不作为优先试验版本 |
| E | models/E/last.pt |
纠正示教微调动作专家 | 显式任务请求 + RTC 2/4 |
| C20k | models/C20k/last.pt |
过滤和恢复示教训练 | 完整流程 1/4;显式请求 + RTC 2/4 |
| v16、早期 v6、内部路由 v6 等 | archive/ |
历史对照,配置及入口各不相同 | 不能按当前完整流程结果解释;内部路由 v6 的 forced-assist 演示不能证明自主意图触发 |
表内比例均来自少量开发场景,不是独立测试集或真机成功率。最新评估使用 MuJoCo 和 Isaac 导出的机械臂资产,不应统称为 Isaac Lab 原生推理。F 的 last.pt 是第 6000 步,选定 best.pt 是第 5000 步。R1 的 best.pt 回退到初始化,不能代替实际更新后的 last.pt。J1 的 best.pt 为联合阶段第 2000 步(包括 600 步头部预热后总计 2600)。
下载
在现场 Linux + NVIDIA GPU 主机执行;不要在 Mac 上下载整套权重。
python3 -m venv .venv-hf
source .venv-hf/bin/activate
python -m pip install huggingface_hub
hf download Lyndow/ExoWrist_Smolvla --local-dir ExoWrist_Smolvla
cd ExoWrist_Smolvla
全部版本和基础依赖需要数十 GB。仅先试 F/J1/R1 保守版时可选择下载:
hf download Lyndow/ExoWrist_Smolvla --local-dir ExoWrist_Smolvla \
--include 'README.md' 'RUNBOOK_ZH.md' 'model_registry.json' 'manifest.json' \
'tools/*' 'environments/*' 'code/*' 'vendor/*' \
'models/F/*' 'models/J1/*' 'models/R1_conservative/*' \
'dependencies/smolvla_base/*' 'dependencies/hf_home/*' \
'assets/IsaacLabAssets/piper_official_100mm/*' 'validation/*'
最终上传完成状态由 UPLOAD_COMPLETE.json 给出。若不存在,归档仍未完成。使用该文件记录的 manifest SHA256 及 manifest.json 验证下载内容;不要以文件夹存在判断权重完整。
运行入口
详细操作见 RUNBOOK_ZH.md。先安装模型环境,再执行离线自检:
python tools/bundle_inference.py --bundle . --model F --self-test
python tools/bundle_inference.py --bundle . --model J1 --self-test
python tools/bundle_inference.py --bundle . --model R1_conservative --self-test
F/E/C/R1 动作入口在明确任务已请求的条件下生成动作;它本身不判断人需不需要帮助。J1 包含联合训练的意图头。外部意图模块、历史骨架试验和原模拟控制器代码分别保存在 code/intent_rack_demo/scripts/、archive/ 和 evidence/,不自动混入某个动作 checkpoint。
现有输入是三路图像 + 7 维机械臂实测状态(6 个关节弧度、归一化夹爪开度),内部固定任务文字;不是由操作者输入文本。图像保持比例并填充到 512×512。当前主版本生成 10 步动作,执行其中 3 步后重规划;训练动作时间基准为 30 Hz。夹爪目标为 0=合拢、1=张开,切换时机来自模型,执行器带合拢斜率限制;归一化 1 对应真机多少毫米必须按实机硬件测量,不能直接假定支持 100 mm。
记录中的新动作块计算中位耗时约 583 ms、P95 约 715 ms(服务器 RTX 4080 SUPER,历史流水线计时,非现场卡独立测速)。当前 RTC 是前缀一致性处理,inference_delay=0,不是已经实现的真实异步实时控制;30 Hz 标签并不证明每秒能生成 30 次新动作。见 validation/latency_audit_20261116.json。
保存范围和依赖
models/:当前 C/E/F/J1/R1/R1 保守版本,保留选定及剩余 checkpoint。archive/:仍存在的历史权重、训练状态、归一化参数和邻接配置;已删除的历史 checkpoint 无法凭空恢复。特征缓存不是权重,见inventory_excluded_feature_caches.json。dependencies/:原 SmolVLA 完整基础权重、SmolVLM 配置和 tokenizer、DINOv2、Sapiens2、DETR、MediaPipe 依赖。vendor/lerobot:训练服务器实际安装的 LeRobot 源码快照,避免仅用同名最新版造成实现变化。基础模型的原权重 SHA256 不变。code/:训练、评估、数据审计、意图/骨架、摄像头检查和 Piper 只读检查代码。部分历史脚本保留原服务器路径,先看运行手册。assets/:官方机器人模型、仿真导出资产及实验场景辅助资源;不是现场相机标定文件,也不是实物架子 CAD。evidence/、demos/、validation/:配置、结果、演示与本次打包自检记录。
上游依赖保留各自许可证和来源;此归档不改变 SmolVLA/SmolVLM/DINOv2/Sapiens2/DETR/MediaPipe/机器人资产的原许可条件。上游出处见 licenses/UPSTREAM.md。PyTorch .pt 包含本项目元数据,只加载本仓库中经哈希核对的文件。
- Downloads last month
- -