| { |
| "bits": 4, |
| "data_type": "int", |
| "group_size": 128, |
| "sym": true, |
| "enable_norm_bias_tuning": true, |
| "static_attention_granularity": "tensor", |
| "static_kv_granularity": "tensor", |
| "autoround_version": "0.15.0", |
| "dynamic": { |
| "-:.*model\\.layers\\.0\\.self_attn\\.g_proj.*": {}, |
| "-:.*model\\.layers\\.1\\.self_attn\\.g_proj.*": {}, |
| "-:.*model\\.layers\\.2\\.self_attn\\.g_proj.*": {}, |
| "-:.*model\\.layers\\.3\\.self_attn\\.g_proj.*": {}, |
| "-:.*model\\.layers\\.4\\.self_attn\\.g_proj.*": {}, |
| "-:.*model\\.layers\\.5\\.self_attn\\.g_proj.*": {}, |
| "-:.*model\\.layers\\.6\\.self_attn\\.g_proj.*": {}, |
| "-:.*model\\.layers\\.7\\.self_attn\\.g_proj.*": {}, |
| "-:.*model\\.layers\\.8\\.self_attn\\.g_proj.*": {}, |
| "-:.*model\\.layers\\.9\\.self_attn\\.g_proj.*": {}, |
| "-:.*model\\.layers\\.10\\.self_attn\\.g_proj.*": {}, |
| "-:.*model\\.layers\\.11\\.self_attn\\.g_proj.*": {}, |
| "-:.*model\\.layers\\.12\\.self_attn\\.g_proj.*": {}, |
| "-:.*model\\.layers\\.13\\.self_attn\\.g_proj.*": {}, |
| "-:.*model\\.layers\\.14\\.self_attn\\.g_proj.*": {}, |
| "-:.*model\\.layers\\.15\\.self_attn\\.g_proj.*": {}, |
| "-:.*model\\.layers\\.16\\.self_attn\\.g_proj.*": {}, |
| "-:.*model\\.layers\\.17\\.self_attn\\.g_proj.*": {}, |
| "-:.*model\\.layers\\.18\\.self_attn\\.g_proj.*": {}, |
| "-:.*model\\.layers\\.19\\.self_attn\\.g_proj.*": {}, |
| "-:.*model\\.layers\\.20\\.self_attn\\.g_proj.*": {}, |
| "-:.*model\\.layers\\.21\\.self_attn\\.g_proj.*": {}, |
| "-:.*model\\.layers\\.22\\.self_attn\\.g_proj.*": {}, |
| "-:.*model\\.layers\\.23\\.self_attn\\.g_proj.*": {}, |
| "-:.*model\\.layers\\.24\\.self_attn\\.g_proj.*": {}, |
| "-:.*model\\.layers\\.25\\.self_attn\\.g_proj.*": {}, |
| "-:.*model\\.layers\\.26\\.self_attn\\.g_proj.*": {}, |
| "-:.*model\\.layers\\.27\\.self_attn\\.g_proj.*": {}, |
| "-:.*model\\.layers\\.28\\.self_attn\\.g_proj.*": {}, |
| "-:.*model\\.layers\\.29\\.self_attn\\.g_proj.*": {}, |
| "-:.*model\\.layers\\.30\\.self_attn\\.g_proj.*": {}, |
| "-:.*model\\.layers\\.31\\.self_attn\\.g_proj.*": {}, |
| "-:.*model\\.layers\\.32\\.self_attn\\.g_proj.*": {}, |
| "-:.*model\\.layers\\.33\\.self_attn\\.g_proj.*": {}, |
| "-:.*model\\.layers\\.34\\.self_attn\\.g_proj.*": {}, |
| "-:.*model\\.layers\\.35\\.self_attn\\.g_proj.*": {} |
| }, |
| "lm_head": false, |
| "provider": "auto-round", |
| "quant_method": "gptq", |
| "desc_act": false, |
| "true_sequential": false, |
| "damp_percent": 0.01, |
| "modules_in_block_to_quantize": [ |
| [ |
| "mlp.down_proj", |
| "mlp.gate_proj", |
| "mlp.up_proj", |
| "self_attn.out_proj", |
| "self_attn.q_k_v_proj" |
| ] |
| ] |
| } |
