Upload 2 files

sam3/scripts/convert_pt_to_fp8.py

@@ -0,0 +1,64 @@
+import os
+import argparse
+import torch
+
+def convert_pt_to_fp8(input_file, output_file):
+    try:
+        # 获取当前运行目录的绝对路径，锁定范围
+        current_dir = os.getcwd()
+        
+        in_path = os.path.abspath(os.path.join(current_dir, input_file))
+        out_path = os.path.abspath(os.path.join(current_dir, output_file))
+        
+        # 严格限制：只允许处理当前目录下的文件
+        if os.path.dirname(in_path) != current_dir or os.path.dirname(out_path) != current_dir:
+            print("❌ 错误：基于安全限制，本脚本只允许处理当前目录下的文件！")
+            return
+
+        if not os.path.exists(in_path):
+            print(f"❌ 错误：找不到输入文件 '{input_file}'")
+            return
+
+        print(f"📦 正在加载 FP16 模型权重: {input_file} ...")
+        # 视你的硬件情况，可将 map_location 设为 'cuda' 或 'cpu'
+        state_dict = torch.load(in_path, map_location='cpu')
+
+        print("⚡ 正在将浮点数转换为底层 FP8 (E4M3FN) 格式...")
+        fp8_state_dict = {}
+        
+        # 判断载入的是直接的 OrderedDict 还是包裹在字典里的权重
+        if isinstance(state_dict, dict) and 'model' in state_dict:
+            target_dict = state_dict['model']
+            is_wrapped = True
+        else:
+            target_dict = state_dict
+            is_wrapped = False
+
+        for k, v in target_dict.items():
+            if isinstance(v, torch.Tensor):
+                # 只有浮点数（FP32/FP16）需要转为 FP8，整数（如层索引、形状）原样保留
+                if v.is_floating_point():
+                    # 转换为 PyTorch 标准的 FP8 权重存储格式
+                    fp8_state_dict[k] = v.to(dtype=torch.float8_e4m3fn)
+                else:
+                    fp8_state_dict[k] = v
+            else:
+                fp8_state_dict[k] = v
+
+        # 保持原有的包裹外壳结构
+        output_data = {'model': fp8_state_dict} if is_wrapped else fp8_state_dict
+
+        print(f"💾 正在保存 FP8 模型至: {output_file} ...")
+        torch.save(output_data, out_path)
+        print(f"✅ 成功生成 FP8 权重文件！")
+
+    except Exception as e:
+        print(f"❌ 转换失败，错误原因: {e}")
+
+if __name__ == "__main__":
+    parser = argparse.ArgumentParser(description="将 FP16/FP32 的 .pt 权重转换为 FP8(E4M3) 格式（仅限当前目录）")
+    parser.add_argument("-i", "--input", required=True, help="输入的 .pt 权重文件名")
+    parser.add_argument("-o", "--output", required=True, help="输出的 FP8 .pt 文件名")
+    
+    args = parser.parse_args()
+    convert_pt_to_fp8(args.input, args.output)

sam3/scripts/convert_pt_to_mixed_fp8_sam3only.py

@@ -0,0 +1,100 @@
+import os
+import argparse
+import torch
+
+def convert_to_sam3_mixed_fp8(input_file, output_file):
+    try:
+        # 1. 严格锁定当前目录
+        current_dir = os.getcwd()
+        in_path = os.path.abspath(os.path.join(current_dir, input_file))
+        out_path = os.path.abspath(os.path.join(current_dir, output_file))
+        
+        if os.path.dirname(in_path) != current_dir or os.path.dirname(out_path) != current_dir:
+            print("❌ 错误：基于安全限制，本脚本只允许处理当前目录下的文件！")
+            return
+
+        if not os.path.exists(in_path):
+            print(f"❌ 错误：找不到输入文件 '{input_file}'")
+            return
+
+        print(f"📦 正在加载原始高精度模型: {input_file} ...")
+        state_dict = torch.load(in_path, map_location='cpu')
+
+        print("⚡ 正在根据您的 SAM3 专属层列表，执行 FP8 / FP16 混合量化...")
+        mixed_state_dict = {}
+        
+        # 结构包裹处理
+        if isinstance(state_dict, dict) and 'model' in state_dict:
+            target_dict = state_dict['model']
+            is_wrapped = True
+        else:
+            target_dict = state_dict
+            is_wrapped = False
+
+        # --- 🎯 混合精度映射核心策略 ---
+        # 1. 绝对强制留守 FP16 的黑名单（包含复数编码、偏置、非矩阵层和核心输出层）
+        fp16_forced_keywords = [
+            "bias", "norm", "ln_", "freqs_cis", "pos_embed", "embedding",
+            "reference_points", "bbox_embed", "boxrpb_embed", "presence_token",
+            "semantic_seg_head", "instance_seg_head", "gamma", "gaussian_matrix"
+        ]
+
+        # 2. 优先允许降级为 FP8 的核心大矩阵白名单
+        fp8_target_keywords = [
+            "qkv", "q_proj", "k_proj", "v_proj", "out_proj", "in_proj",
+            "fc1", "fc2", "linear1", "linear2", "pwconv", "proj.weight",
+            "prompt_mlp", "hs_proj", "mask_embed", "hypernetworks_mlps"
+        ]
+
+        fp8_count = 0
+        fp16_count = 0
+        skipped_count = 0
+
+        for k, v in target_dict.items():
+            if isinstance(v, torch.Tensor):
+                k_lower = k.lower()
+                
+                # 只有浮点类型才考虑转精度
+                if v.is_floating_point():
+                    # 规则 A: 如果命中了死守 FP16 的核心层关键词 -> FP16
+                    is_forced_fp16 = any(w in k_lower for w in fp16_forced_keywords)
+                    # 规则 B: 检查是否属于适合转为 FP8 的大矩阵 -> FP8
+                    is_target_fp8 = any(w in k_lower for w in fp8_target_keywords)
+                    
+                    if is_target_fp8 and not is_forced_fp16:
+                        # 核心计算大矩阵：安全降级至 FP8 (E4M3FN)
+                        mixed_state_dict[k] = v.to(dtype=torch.float8_e4m3fn)
+                        fp8_count += 1
+                    else:
+                        # 敏感或边缘控制层：降级保留至高精度的 FP16
+                        mixed_state_dict[k] = v.to(dtype=torch.float16)
+                        fp16_count += 1
+                else:
+                    # 诸如 complex64 复数等非普通浮点数据类型，原封不动保留
+                    mixed_state_dict[k] = v
+                    skipped_count += 1
+            else:
+                mixed_state_dict[k] = v
+                skipped_count += 1
+
+        output_data = {'model': mixed_state_dict} if is_wrapped else mixed_state_dict
+
+        print(f"\n📊 混合量化分配报告：")
+        print(f"   - ⚡ 完美转换为 FP8 的大计算量矩阵层数: {fp8_count}")
+        print(f"   - 🔒 安全保留为 FP16 高精度的敏感结构层数: {fp16_count}")
+        print(f"   - 🛠️ 跳过不作处理的特殊类型/非张量层数: {skipped_count}")
+        
+        print(f"\n💾 正在保存混合精度模型至: {output_file} ...")
+        torch.save(output_data, out_path)
+        print(f"✅ 转换大功告成！生成的混合精度模型已可进行测试。")
+
+    except Exception as e:
+        print(f"❌ 转换过程中发生未预期中断，错误原因: {e}")
+
+if __name__ == "__main__":
+    parser = argparse.ArgumentParser(description="根据真实列表定制的 SAM3 混合精度转换工具")
+    parser.add_argument("-i", "--input", required=True, help="输入的 FP32 权重文件名")
+    parser.add_argument("-o", "--output", required=True, help="输出的混合精度文件名")
+    
+    args = parser.parse_args()
+    convert_to_sam3_mixed_fp8(args.input, args.output)