maiiro-gemx

NVIDIA GEM-X の重みを、ONNX Runtime で呼べる形に書き出したものです。maiiro（sougawa/maiiro）の動画の解析（maiiro-video-analysis-gemx）が、初回に落として使います。

ONNX exports of the NVIDIA GEM-X weights for use with ONNX Runtime, downloaded by maiiro's video analysis on first use.

Licensed by NVIDIA Corporation under the NVIDIA Open Model License.

ファイル

ファイル	中身	もと
vitpose/vitpose.onnx・vitpose.onnx.data	ViTPose（2D の関節。入力 imgs [B,3,256,192]、出力 heatmaps）	nvidia/GEM-X の vitpose.pth
pose/pose.onnx・pose.onnx.data	Body Pose（時間の網に渡すトークン。入力 img [B,3,256,256]・bbx_xys [B,3]・K_fullimg [B,3,3]、出力 pose_tokens）	nvidia/GEM-X の body_s240000.ckpt
motion/motion.onnx	時間の網（Motion native77。統計で戻した 655 の値を返す）	nvidia/GEM-X の motion_native77_e774_s292175.ckpt・motion_stats_raw.npz
soma/soma_skeleton.npz	SOMA の関節の位置を出すのに要る定数	nvidia/SOMA-X（py-soma-x 0.3.3 で計算）

• 書き出しに使ったもの: GEM-X のソース NVlabs/GEM-X 20555befe2、重み nvidia/GEM-X 4fce057963、nvidia/SOMA-X f81a01796f。
• 書き出しのスクリプト: maiiro の maiiro-video-analysis-gemx/scripts/gemx_export_onnx.py・gemx_export_soma.py。ViTPose は、上流の PyTorch 版と同じ値になるよう、回転の位置埋め込みの bf16 の丸めを残して書き出しています。
• 上流の PyTorch の値と段ごとに比べて合うことを、maiiro の試験（tests/*_reference.rs）で確かめています。

ライセンス

• モデル（vitpose/・pose/・motion/）: NVIDIA Open Model License Agreement（写し: LICENSE-NVIDIA-OPEN-MODEL.txt）。表示は Notice。
• SOMA の定数（soma/）と GEM-X のソース: Apache License 2.0（LICENSE-APACHE-2.0.txt）。
• GEM-X のソースの一部は SAM 3D Body に由来します: SAM License（LICENSE-SAM.txt）。

Use of the models must also be consistent with NVIDIA's Trustworthy AI terms.