{ "input": "./ffdnet_color_fixed_sigma10_416x416_sim.onnx", "output_dir": "./FFDNet", "output_name": "ffdnet_color_fixed_sigma10_416x416_sim.axmodel", "model_type": "ONNX", "target_hardware": "AX650", "npu_mode": "NPU3", "quant": { "input_configs": [ { "tensor_name": "input", "calibration_dataset": "./BSD.tar.gz", "calibration_size": 32, "calibration_mean": [0.0, 0.0, 0.0], "calibration_std": [255.0, 255.0, 255.0] } ], "calibration_method": "MinMax", "precision_analysis": true, "transformer_opt_level":1, // "enable_smooth_quant": true, "precision_analysis_method": "EndToEnd", "precision_analysis_mode": "NPUBackend", "device": "cuda:1", // "layer_configs": [ // { // "start_tensor_names": ["DEFAULT"], // "end_tensor_names": ["DEFAULT"], // "data_type": "U16" // } // ] }, "input_processors": [ { "tensor_name": "input", "tensor_format": "RGB", "tensor_layout": "NCHW", "src_format": "BGR", "src_dtype": "U8", "src_layout": "NCHW", "csc_mode": "NoCSC" } // { // "tensor_name": "input", // "tensor_format": "RGB", // "tensor_layout": "NCHW", // "src_format": "YUV420SP", // "src_layout": "NHWC", // "src_dtype": "U8", // "csc_mode": "FullRange", // "csc_mat": [1.164, 0, 1.596, -222.912, 1.164, -0.392, -0.813, 135.616, 1.164, 2.017, 0, -276.8] // } ], "compiler": { "check": 2 } }