| { |
| "metadata": { |
| "ParamSize": 149, |
| "ParamBytes": 652148736.0, |
| "BitsPerParam": 41.92540933525066 |
| }, |
| "records": [ |
| { |
| "dataPath": "params_shard_0.bin", |
| "format": "raw-shard", |
| "nbytes": 28360704, |
| "records": [ |
| { |
| "name": "transformer.h.0.attn.c_attn.bias", |
| "shape": [ |
| 2304 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 9216, |
| "byteOffset": 0 |
| }, |
| { |
| "name": "transformer.h.0.attn.c_attn.weight", |
| "shape": [ |
| 2304, |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 7077888, |
| "byteOffset": 9216 |
| }, |
| { |
| "name": "transformer.h.0.attn.c_proj.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 3072, |
| "byteOffset": 7087104 |
| }, |
| { |
| "name": "transformer.h.0.attn.c_proj.weight", |
| "shape": [ |
| 768, |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 2359296, |
| "byteOffset": 7090176 |
| }, |
| { |
| "name": "transformer.h.0.ln_1.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 3072, |
| "byteOffset": 9449472 |
| }, |
| { |
| "name": "transformer.h.0.ln_1.weight", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 3072, |
| "byteOffset": 9452544 |
| }, |
| { |
| "name": "transformer.h.0.ln_2.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 3072, |
| "byteOffset": 9455616 |
| }, |
| { |
| "name": "transformer.h.0.ln_2.weight", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 3072, |
| "byteOffset": 9458688 |
| }, |
| { |
| "name": "transformer.h.0.mlp.c_fc.bias", |
| "shape": [ |
| 3072 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 12288, |
| "byteOffset": 9461760 |
| }, |
| { |
| "name": "transformer.h.0.mlp.c_fc.weight", |
| "shape": [ |
| 3072, |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 9437184, |
| "byteOffset": 9474048 |
| }, |
| { |
| "name": "transformer.h.0.mlp.c_proj.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 3072, |
| "byteOffset": 18911232 |
| }, |
| { |
| "name": "transformer.h.0.mlp.c_proj.weight", |
| "shape": [ |
| 768, |
| 3072 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 9437184, |
| "byteOffset": 18914304 |
| }, |
| { |
| "name": "transformer.h.1.attn.c_attn.bias", |
| "shape": [ |
| 2304 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 9216, |
| "byteOffset": 28351488 |
| } |
| ], |
| "md5sum": "592c5422821d96329c926f26df27faba" |
| }, |
| { |
| "dataPath": "params_shard_1.bin", |
| "format": "raw-shard", |
| "nbytes": 28351488, |
| "records": [ |
| { |
| "name": "transformer.h.1.attn.c_attn.weight", |
| "shape": [ |
| 2304, |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 7077888, |
| "byteOffset": 0 |
| }, |
| { |
| "name": "transformer.h.1.attn.c_proj.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 3072, |
| "byteOffset": 7077888 |
| }, |
| { |
| "name": "transformer.h.1.attn.c_proj.weight", |
| "shape": [ |
| 768, |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 2359296, |
| "byteOffset": 7080960 |
| }, |
| { |
| "name": "transformer.h.1.ln_1.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 3072, |
| "byteOffset": 9440256 |
| }, |
| { |
| "name": "transformer.h.1.ln_1.weight", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 3072, |
| "byteOffset": 9443328 |
| }, |
| { |
| "name": "transformer.h.1.ln_2.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 3072, |
| "byteOffset": 9446400 |
| }, |
| { |
| "name": "transformer.h.1.ln_2.weight", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 3072, |
| "byteOffset": 9449472 |
| }, |
| { |
| "name": "transformer.h.1.mlp.c_fc.bias", |
| "shape": [ |
| 3072 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 12288, |
| "byteOffset": 9452544 |
| }, |
| { |
| "name": "transformer.h.1.mlp.c_fc.weight", |
| "shape": [ |
| 3072, |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 9437184, |
| "byteOffset": 9464832 |
| }, |
| { |
| "name": "transformer.h.1.mlp.c_proj.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 3072, |
| "byteOffset": 18902016 |
| }, |
| { |
| "name": "transformer.h.1.mlp.c_proj.weight", |
| "shape": [ |
| 768, |
| 3072 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 9437184, |
| "byteOffset": 18905088 |
| }, |
| { |
| "name": "transformer.h.10.attn.c_attn.bias", |
| "shape": [ |
| 2304 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 9216, |
| "byteOffset": 28342272 |
| } |
| ], |
| "md5sum": "1239331c367550f8941ad73750c295d9" |
| }, |
| { |
| "dataPath": "params_shard_2.bin", |
| "format": "raw-shard", |
| "nbytes": 28351488, |
| "records": [ |
| { |
| "name": "transformer.h.10.attn.c_attn.weight", |
| "shape": [ |
| 2304, |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 7077888, |
| "byteOffset": 0 |
| }, |
| { |
| "name": "transformer.h.10.attn.c_proj.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 3072, |
| "byteOffset": 7077888 |
| }, |
| { |
| "name": "transformer.h.10.attn.c_proj.weight", |
| "shape": [ |
| 768, |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 2359296, |
| "byteOffset": 7080960 |
| }, |
| { |
| "name": "transformer.h.10.ln_1.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 3072, |
| "byteOffset": 9440256 |
| }, |
| { |
| "name": "transformer.h.10.ln_1.weight", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 3072, |
| "byteOffset": 9443328 |
| }, |
| { |
| "name": "transformer.h.10.ln_2.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 3072, |
| "byteOffset": 9446400 |
| }, |
| { |
| "name": "transformer.h.10.ln_2.weight", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 3072, |
| "byteOffset": 9449472 |
| }, |
| { |
| "name": "transformer.h.10.mlp.c_fc.bias", |
| "shape": [ |
| 3072 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 12288, |
| "byteOffset": 9452544 |
| }, |
| { |
| "name": "transformer.h.10.mlp.c_fc.weight", |
| "shape": [ |
| 3072, |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 9437184, |
| "byteOffset": 9464832 |
| }, |
| { |
| "name": "transformer.h.10.mlp.c_proj.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 3072, |
| "byteOffset": 18902016 |
| }, |
| { |
| "name": "transformer.h.10.mlp.c_proj.weight", |
| "shape": [ |
| 768, |
| 3072 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 9437184, |
| "byteOffset": 18905088 |
| }, |
| { |
| "name": "transformer.h.11.attn.c_attn.bias", |
| "shape": [ |
| 2304 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 9216, |
| "byteOffset": 28342272 |
| } |
| ], |
| "md5sum": "4f7d520002aeef8fd6f9a6f6d69a6990" |
| }, |
| { |
| "dataPath": "params_shard_3.bin", |
| "format": "raw-shard", |
| "nbytes": 28351488, |
| "records": [ |
| { |
| "name": "transformer.h.11.attn.c_attn.weight", |
| "shape": [ |
| 2304, |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 7077888, |
| "byteOffset": 0 |
| }, |
| { |
| "name": "transformer.h.11.attn.c_proj.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 3072, |
| "byteOffset": 7077888 |
| }, |
| { |
| "name": "transformer.h.11.attn.c_proj.weight", |
| "shape": [ |
| 768, |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 2359296, |
| "byteOffset": 7080960 |
| }, |
| { |
| "name": "transformer.h.11.ln_1.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 3072, |
| "byteOffset": 9440256 |
| }, |
| { |
| "name": "transformer.h.11.ln_1.weight", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 3072, |
| "byteOffset": 9443328 |
| }, |
| { |
| "name": "transformer.h.11.ln_2.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 3072, |
| "byteOffset": 9446400 |
| }, |
| { |
| "name": "transformer.h.11.ln_2.weight", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 3072, |
| "byteOffset": 9449472 |
| }, |
| { |
| "name": "transformer.h.11.mlp.c_fc.bias", |
| "shape": [ |
| 3072 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 12288, |
| "byteOffset": 9452544 |
| }, |
| { |
| "name": "transformer.h.11.mlp.c_fc.weight", |
| "shape": [ |
| 3072, |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 9437184, |
| "byteOffset": 9464832 |
| }, |
| { |
| "name": "transformer.h.11.mlp.c_proj.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 3072, |
| "byteOffset": 18902016 |
| }, |
| { |
| "name": "transformer.h.11.mlp.c_proj.weight", |
| "shape": [ |
| 768, |
| 3072 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 9437184, |
| "byteOffset": 18905088 |
| }, |
| { |
| "name": "transformer.h.2.attn.c_attn.bias", |
| "shape": [ |
| 2304 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 9216, |
| "byteOffset": 28342272 |
| } |
| ], |
| "md5sum": "3e441198374118c8bf6078c63292c2fc" |
| }, |
| { |
| "dataPath": "params_shard_4.bin", |
| "format": "raw-shard", |
| "nbytes": 28351488, |
| "records": [ |
| { |
| "name": "transformer.h.2.attn.c_attn.weight", |
| "shape": [ |
| 2304, |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 7077888, |
| "byteOffset": 0 |
| }, |
| { |
| "name": "transformer.h.2.attn.c_proj.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 3072, |
| "byteOffset": 7077888 |
| }, |
| { |
| "name": "transformer.h.2.attn.c_proj.weight", |
| "shape": [ |
| 768, |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 2359296, |
| "byteOffset": 7080960 |
| }, |
| { |
| "name": "transformer.h.2.ln_1.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 3072, |
| "byteOffset": 9440256 |
| }, |
| { |
| "name": "transformer.h.2.ln_1.weight", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 3072, |
| "byteOffset": 9443328 |
| }, |
| { |
| "name": "transformer.h.2.ln_2.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 3072, |
| "byteOffset": 9446400 |
| }, |
| { |
| "name": "transformer.h.2.ln_2.weight", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 3072, |
| "byteOffset": 9449472 |
| }, |
| { |
| "name": "transformer.h.2.mlp.c_fc.bias", |
| "shape": [ |
| 3072 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 12288, |
| "byteOffset": 9452544 |
| }, |
| { |
| "name": "transformer.h.2.mlp.c_fc.weight", |
| "shape": [ |
| 3072, |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 9437184, |
| "byteOffset": 9464832 |
| }, |
| { |
| "name": "transformer.h.2.mlp.c_proj.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 3072, |
| "byteOffset": 18902016 |
| }, |
| { |
| "name": "transformer.h.2.mlp.c_proj.weight", |
| "shape": [ |
| 768, |
| 3072 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 9437184, |
| "byteOffset": 18905088 |
| }, |
| { |
| "name": "transformer.h.3.attn.c_attn.bias", |
| "shape": [ |
| 2304 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 9216, |
| "byteOffset": 28342272 |
| } |
| ], |
| "md5sum": "07ddc8f8c1965fc3405057ab4ce8500f" |
| }, |
| { |
| "dataPath": "params_shard_5.bin", |
| "format": "raw-shard", |
| "nbytes": 28351488, |
| "records": [ |
| { |
| "name": "transformer.h.3.attn.c_attn.weight", |
| "shape": [ |
| 2304, |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 7077888, |
| "byteOffset": 0 |
| }, |
| { |
| "name": "transformer.h.3.attn.c_proj.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 3072, |
| "byteOffset": 7077888 |
| }, |
| { |
| "name": "transformer.h.3.attn.c_proj.weight", |
| "shape": [ |
| 768, |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 2359296, |
| "byteOffset": 7080960 |
| }, |
| { |
| "name": "transformer.h.3.ln_1.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 3072, |
| "byteOffset": 9440256 |
| }, |
| { |
| "name": "transformer.h.3.ln_1.weight", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 3072, |
| "byteOffset": 9443328 |
| }, |
| { |
| "name": "transformer.h.3.ln_2.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 3072, |
| "byteOffset": 9446400 |
| }, |
| { |
| "name": "transformer.h.3.ln_2.weight", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 3072, |
| "byteOffset": 9449472 |
| }, |
| { |
| "name": "transformer.h.3.mlp.c_fc.bias", |
| "shape": [ |
| 3072 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 12288, |
| "byteOffset": 9452544 |
| }, |
| { |
| "name": "transformer.h.3.mlp.c_fc.weight", |
| "shape": [ |
| 3072, |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 9437184, |
| "byteOffset": 9464832 |
| }, |
| { |
| "name": "transformer.h.3.mlp.c_proj.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 3072, |
| "byteOffset": 18902016 |
| }, |
| { |
| "name": "transformer.h.3.mlp.c_proj.weight", |
| "shape": [ |
| 768, |
| 3072 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 9437184, |
| "byteOffset": 18905088 |
| }, |
| { |
| "name": "transformer.h.4.attn.c_attn.bias", |
| "shape": [ |
| 2304 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 9216, |
| "byteOffset": 28342272 |
| } |
| ], |
| "md5sum": "7c210b48993fd601ec72181de2999b0d" |
| }, |
| { |
| "dataPath": "params_shard_6.bin", |
| "format": "raw-shard", |
| "nbytes": 28351488, |
| "records": [ |
| { |
| "name": "transformer.h.4.attn.c_attn.weight", |
| "shape": [ |
| 2304, |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 7077888, |
| "byteOffset": 0 |
| }, |
| { |
| "name": "transformer.h.4.attn.c_proj.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 3072, |
| "byteOffset": 7077888 |
| }, |
| { |
| "name": "transformer.h.4.attn.c_proj.weight", |
| "shape": [ |
| 768, |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 2359296, |
| "byteOffset": 7080960 |
| }, |
| { |
| "name": "transformer.h.4.ln_1.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 3072, |
| "byteOffset": 9440256 |
| }, |
| { |
| "name": "transformer.h.4.ln_1.weight", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 3072, |
| "byteOffset": 9443328 |
| }, |
| { |
| "name": "transformer.h.4.ln_2.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 3072, |
| "byteOffset": 9446400 |
| }, |
| { |
| "name": "transformer.h.4.ln_2.weight", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 3072, |
| "byteOffset": 9449472 |
| }, |
| { |
| "name": "transformer.h.4.mlp.c_fc.bias", |
| "shape": [ |
| 3072 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 12288, |
| "byteOffset": 9452544 |
| }, |
| { |
| "name": "transformer.h.4.mlp.c_fc.weight", |
| "shape": [ |
| 3072, |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 9437184, |
| "byteOffset": 9464832 |
| }, |
| { |
| "name": "transformer.h.4.mlp.c_proj.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 3072, |
| "byteOffset": 18902016 |
| }, |
| { |
| "name": "transformer.h.4.mlp.c_proj.weight", |
| "shape": [ |
| 768, |
| 3072 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 9437184, |
| "byteOffset": 18905088 |
| }, |
| { |
| "name": "transformer.h.5.attn.c_attn.bias", |
| "shape": [ |
| 2304 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 9216, |
| "byteOffset": 28342272 |
| } |
| ], |
| "md5sum": "2bd195357ec8d83a65b2a0c3bb41792f" |
| }, |
| { |
| "dataPath": "params_shard_7.bin", |
| "format": "raw-shard", |
| "nbytes": 28351488, |
| "records": [ |
| { |
| "name": "transformer.h.5.attn.c_attn.weight", |
| "shape": [ |
| 2304, |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 7077888, |
| "byteOffset": 0 |
| }, |
| { |
| "name": "transformer.h.5.attn.c_proj.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 3072, |
| "byteOffset": 7077888 |
| }, |
| { |
| "name": "transformer.h.5.attn.c_proj.weight", |
| "shape": [ |
| 768, |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 2359296, |
| "byteOffset": 7080960 |
| }, |
| { |
| "name": "transformer.h.5.ln_1.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 3072, |
| "byteOffset": 9440256 |
| }, |
| { |
| "name": "transformer.h.5.ln_1.weight", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 3072, |
| "byteOffset": 9443328 |
| }, |
| { |
| "name": "transformer.h.5.ln_2.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 3072, |
| "byteOffset": 9446400 |
| }, |
| { |
| "name": "transformer.h.5.ln_2.weight", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 3072, |
| "byteOffset": 9449472 |
| }, |
| { |
| "name": "transformer.h.5.mlp.c_fc.bias", |
| "shape": [ |
| 3072 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 12288, |
| "byteOffset": 9452544 |
| }, |
| { |
| "name": "transformer.h.5.mlp.c_fc.weight", |
| "shape": [ |
| 3072, |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 9437184, |
| "byteOffset": 9464832 |
| }, |
| { |
| "name": "transformer.h.5.mlp.c_proj.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 3072, |
| "byteOffset": 18902016 |
| }, |
| { |
| "name": "transformer.h.5.mlp.c_proj.weight", |
| "shape": [ |
| 768, |
| 3072 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 9437184, |
| "byteOffset": 18905088 |
| }, |
| { |
| "name": "transformer.h.6.attn.c_attn.bias", |
| "shape": [ |
| 2304 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 9216, |
| "byteOffset": 28342272 |
| } |
| ], |
| "md5sum": "94998ebd22456219b268fd4dd485ea54" |
| }, |
| { |
| "dataPath": "params_shard_8.bin", |
| "format": "raw-shard", |
| "nbytes": 28351488, |
| "records": [ |
| { |
| "name": "transformer.h.6.attn.c_attn.weight", |
| "shape": [ |
| 2304, |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 7077888, |
| "byteOffset": 0 |
| }, |
| { |
| "name": "transformer.h.6.attn.c_proj.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 3072, |
| "byteOffset": 7077888 |
| }, |
| { |
| "name": "transformer.h.6.attn.c_proj.weight", |
| "shape": [ |
| 768, |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 2359296, |
| "byteOffset": 7080960 |
| }, |
| { |
| "name": "transformer.h.6.ln_1.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 3072, |
| "byteOffset": 9440256 |
| }, |
| { |
| "name": "transformer.h.6.ln_1.weight", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 3072, |
| "byteOffset": 9443328 |
| }, |
| { |
| "name": "transformer.h.6.ln_2.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 3072, |
| "byteOffset": 9446400 |
| }, |
| { |
| "name": "transformer.h.6.ln_2.weight", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 3072, |
| "byteOffset": 9449472 |
| }, |
| { |
| "name": "transformer.h.6.mlp.c_fc.bias", |
| "shape": [ |
| 3072 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 12288, |
| "byteOffset": 9452544 |
| }, |
| { |
| "name": "transformer.h.6.mlp.c_fc.weight", |
| "shape": [ |
| 3072, |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 9437184, |
| "byteOffset": 9464832 |
| }, |
| { |
| "name": "transformer.h.6.mlp.c_proj.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 3072, |
| "byteOffset": 18902016 |
| }, |
| { |
| "name": "transformer.h.6.mlp.c_proj.weight", |
| "shape": [ |
| 768, |
| 3072 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 9437184, |
| "byteOffset": 18905088 |
| }, |
| { |
| "name": "transformer.h.7.attn.c_attn.bias", |
| "shape": [ |
| 2304 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 9216, |
| "byteOffset": 28342272 |
| } |
| ], |
| "md5sum": "7d3bb07ca75708ffde6fcc25b83deba9" |
| }, |
| { |
| "dataPath": "params_shard_9.bin", |
| "format": "raw-shard", |
| "nbytes": 28351488, |
| "records": [ |
| { |
| "name": "transformer.h.7.attn.c_attn.weight", |
| "shape": [ |
| 2304, |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 7077888, |
| "byteOffset": 0 |
| }, |
| { |
| "name": "transformer.h.7.attn.c_proj.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 3072, |
| "byteOffset": 7077888 |
| }, |
| { |
| "name": "transformer.h.7.attn.c_proj.weight", |
| "shape": [ |
| 768, |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 2359296, |
| "byteOffset": 7080960 |
| }, |
| { |
| "name": "transformer.h.7.ln_1.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 3072, |
| "byteOffset": 9440256 |
| }, |
| { |
| "name": "transformer.h.7.ln_1.weight", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 3072, |
| "byteOffset": 9443328 |
| }, |
| { |
| "name": "transformer.h.7.ln_2.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 3072, |
| "byteOffset": 9446400 |
| }, |
| { |
| "name": "transformer.h.7.ln_2.weight", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 3072, |
| "byteOffset": 9449472 |
| }, |
| { |
| "name": "transformer.h.7.mlp.c_fc.bias", |
| "shape": [ |
| 3072 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 12288, |
| "byteOffset": 9452544 |
| }, |
| { |
| "name": "transformer.h.7.mlp.c_fc.weight", |
| "shape": [ |
| 3072, |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 9437184, |
| "byteOffset": 9464832 |
| }, |
| { |
| "name": "transformer.h.7.mlp.c_proj.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 3072, |
| "byteOffset": 18902016 |
| }, |
| { |
| "name": "transformer.h.7.mlp.c_proj.weight", |
| "shape": [ |
| 768, |
| 3072 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 9437184, |
| "byteOffset": 18905088 |
| }, |
| { |
| "name": "transformer.h.8.attn.c_attn.bias", |
| "shape": [ |
| 2304 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 9216, |
| "byteOffset": 28342272 |
| } |
| ], |
| "md5sum": "2c81ab68fa79ef5d6b775704f3c00d0f" |
| }, |
| { |
| "dataPath": "params_shard_10.bin", |
| "format": "raw-shard", |
| "nbytes": 28351488, |
| "records": [ |
| { |
| "name": "transformer.h.8.attn.c_attn.weight", |
| "shape": [ |
| 2304, |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 7077888, |
| "byteOffset": 0 |
| }, |
| { |
| "name": "transformer.h.8.attn.c_proj.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 3072, |
| "byteOffset": 7077888 |
| }, |
| { |
| "name": "transformer.h.8.attn.c_proj.weight", |
| "shape": [ |
| 768, |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 2359296, |
| "byteOffset": 7080960 |
| }, |
| { |
| "name": "transformer.h.8.ln_1.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 3072, |
| "byteOffset": 9440256 |
| }, |
| { |
| "name": "transformer.h.8.ln_1.weight", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 3072, |
| "byteOffset": 9443328 |
| }, |
| { |
| "name": "transformer.h.8.ln_2.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 3072, |
| "byteOffset": 9446400 |
| }, |
| { |
| "name": "transformer.h.8.ln_2.weight", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 3072, |
| "byteOffset": 9449472 |
| }, |
| { |
| "name": "transformer.h.8.mlp.c_fc.bias", |
| "shape": [ |
| 3072 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 12288, |
| "byteOffset": 9452544 |
| }, |
| { |
| "name": "transformer.h.8.mlp.c_fc.weight", |
| "shape": [ |
| 3072, |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 9437184, |
| "byteOffset": 9464832 |
| }, |
| { |
| "name": "transformer.h.8.mlp.c_proj.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 3072, |
| "byteOffset": 18902016 |
| }, |
| { |
| "name": "transformer.h.8.mlp.c_proj.weight", |
| "shape": [ |
| 768, |
| 3072 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 9437184, |
| "byteOffset": 18905088 |
| }, |
| { |
| "name": "transformer.h.9.attn.c_attn.bias", |
| "shape": [ |
| 2304 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 9216, |
| "byteOffset": 28342272 |
| } |
| ], |
| "md5sum": "1ca6549012aa9317f2fcd8c3fccadada" |
| }, |
| { |
| "dataPath": "params_shard_11.bin", |
| "format": "raw-shard", |
| "nbytes": 154389504, |
| "records": [ |
| { |
| "name": "lm_head.weight", |
| "shape": [ |
| 50257, |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 154389504, |
| "byteOffset": 0 |
| } |
| ], |
| "md5sum": "4d4b2d98c89080badae51e93d79da2fe" |
| }, |
| { |
| "dataPath": "params_shard_12.bin", |
| "format": "raw-shard", |
| "nbytes": 154389504, |
| "records": [ |
| { |
| "name": "transformer.wte.weight", |
| "shape": [ |
| 50257, |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 154389504, |
| "byteOffset": 0 |
| } |
| ], |
| "md5sum": "4d4b2d98c89080badae51e93d79da2fe" |
| }, |
| { |
| "dataPath": "params_shard_13.bin", |
| "format": "raw-shard", |
| "nbytes": 31494144, |
| "records": [ |
| { |
| "name": "transformer.h.9.attn.c_attn.weight", |
| "shape": [ |
| 2304, |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 7077888, |
| "byteOffset": 0 |
| }, |
| { |
| "name": "transformer.h.9.attn.c_proj.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 3072, |
| "byteOffset": 7077888 |
| }, |
| { |
| "name": "transformer.h.9.attn.c_proj.weight", |
| "shape": [ |
| 768, |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 2359296, |
| "byteOffset": 7080960 |
| }, |
| { |
| "name": "transformer.h.9.ln_1.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 3072, |
| "byteOffset": 9440256 |
| }, |
| { |
| "name": "transformer.h.9.ln_1.weight", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 3072, |
| "byteOffset": 9443328 |
| }, |
| { |
| "name": "transformer.h.9.ln_2.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 3072, |
| "byteOffset": 9446400 |
| }, |
| { |
| "name": "transformer.h.9.ln_2.weight", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 3072, |
| "byteOffset": 9449472 |
| }, |
| { |
| "name": "transformer.h.9.mlp.c_fc.bias", |
| "shape": [ |
| 3072 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 12288, |
| "byteOffset": 9452544 |
| }, |
| { |
| "name": "transformer.h.9.mlp.c_fc.weight", |
| "shape": [ |
| 3072, |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 9437184, |
| "byteOffset": 9464832 |
| }, |
| { |
| "name": "transformer.h.9.mlp.c_proj.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 3072, |
| "byteOffset": 18902016 |
| }, |
| { |
| "name": "transformer.h.9.mlp.c_proj.weight", |
| "shape": [ |
| 768, |
| 3072 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 9437184, |
| "byteOffset": 18905088 |
| }, |
| { |
| "name": "transformer.ln_f.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 3072, |
| "byteOffset": 28342272 |
| }, |
| { |
| "name": "transformer.ln_f.weight", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 3072, |
| "byteOffset": 28345344 |
| }, |
| { |
| "name": "transformer.wpe.weight", |
| "shape": [ |
| 1024, |
| 768 |
| ], |
| "dtype": "float32", |
| "format": "raw", |
| "nbytes": 3145728, |
| "byteOffset": 28348416 |
| } |
| ], |
| "md5sum": "bb8071bd499a922c01c5b8d298057aaf" |
| } |
| ] |
| } |
