| { | |
| "metadata": { | |
| "ParamSize": 149, | |
| "ParamBytes": 681461760.0, | |
| "BitsPerParam": 32.0 | |
| }, | |
| "records": [ | |
| { | |
| "dataPath": "params_shard_0.bin", | |
| "format": "raw-shard", | |
| "nbytes": 28385280, | |
| "records": [ | |
| { | |
| "name": "transformer.h.0.ln_1.weight", | |
| "shape": [ | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 3072, | |
| "byteOffset": 0 | |
| }, | |
| { | |
| "name": "transformer.h.1.ln_1.weight", | |
| "shape": [ | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 3072, | |
| "byteOffset": 3072 | |
| }, | |
| { | |
| "name": "transformer.h.2.ln_1.weight", | |
| "shape": [ | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 3072, | |
| "byteOffset": 6144 | |
| }, | |
| { | |
| "name": "transformer.h.3.ln_1.weight", | |
| "shape": [ | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 3072, | |
| "byteOffset": 9216 | |
| }, | |
| { | |
| "name": "transformer.h.4.ln_1.weight", | |
| "shape": [ | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 3072, | |
| "byteOffset": 12288 | |
| }, | |
| { | |
| "name": "transformer.h.5.ln_1.weight", | |
| "shape": [ | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 3072, | |
| "byteOffset": 15360 | |
| }, | |
| { | |
| "name": "transformer.h.6.ln_1.weight", | |
| "shape": [ | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 3072, | |
| "byteOffset": 18432 | |
| }, | |
| { | |
| "name": "transformer.h.7.ln_1.weight", | |
| "shape": [ | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 3072, | |
| "byteOffset": 21504 | |
| }, | |
| { | |
| "name": "transformer.h.8.ln_1.weight", | |
| "shape": [ | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 3072, | |
| "byteOffset": 24576 | |
| }, | |
| { | |
| "name": "transformer.h.9.ln_1.weight", | |
| "shape": [ | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 3072, | |
| "byteOffset": 27648 | |
| }, | |
| { | |
| "name": "transformer.h.10.ln_1.weight", | |
| "shape": [ | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 3072, | |
| "byteOffset": 30720 | |
| }, | |
| { | |
| "name": "transformer.h.11.ln_1.weight", | |
| "shape": [ | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 3072, | |
| "byteOffset": 33792 | |
| }, | |
| { | |
| "name": "transformer.h.0.ln_1.bias", | |
| "shape": [ | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 3072, | |
| "byteOffset": 36864 | |
| }, | |
| { | |
| "name": "transformer.h.1.ln_1.bias", | |
| "shape": [ | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 3072, | |
| "byteOffset": 39936 | |
| }, | |
| { | |
| "name": "transformer.h.2.ln_1.bias", | |
| "shape": [ | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 3072, | |
| "byteOffset": 43008 | |
| }, | |
| { | |
| "name": "transformer.h.3.ln_1.bias", | |
| "shape": [ | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 3072, | |
| "byteOffset": 46080 | |
| }, | |
| { | |
| "name": "transformer.h.4.ln_1.bias", | |
| "shape": [ | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 3072, | |
| "byteOffset": 49152 | |
| }, | |
| { | |
| "name": "transformer.h.5.ln_1.bias", | |
| "shape": [ | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 3072, | |
| "byteOffset": 52224 | |
| }, | |
| { | |
| "name": "transformer.h.6.ln_1.bias", | |
| "shape": [ | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 3072, | |
| "byteOffset": 55296 | |
| }, | |
| { | |
| "name": "transformer.h.7.ln_1.bias", | |
| "shape": [ | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 3072, | |
| "byteOffset": 58368 | |
| }, | |
| { | |
| "name": "transformer.h.8.ln_1.bias", | |
| "shape": [ | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 3072, | |
| "byteOffset": 61440 | |
| }, | |
| { | |
| "name": "transformer.h.9.ln_1.bias", | |
| "shape": [ | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 3072, | |
| "byteOffset": 64512 | |
| }, | |
| { | |
| "name": "transformer.h.10.ln_1.bias", | |
| "shape": [ | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 3072, | |
| "byteOffset": 67584 | |
| }, | |
| { | |
| "name": "transformer.h.11.ln_1.bias", | |
| "shape": [ | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 3072, | |
| "byteOffset": 70656 | |
| }, | |
| { | |
| "name": "transformer.h.0.attn.c_attn.weight", | |
| "shape": [ | |
| 2304, | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 7077888, | |
| "byteOffset": 73728 | |
| }, | |
| { | |
| "name": "transformer.h.1.attn.c_attn.weight", | |
| "shape": [ | |
| 2304, | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 7077888, | |
| "byteOffset": 7151616 | |
| }, | |
| { | |
| "name": "transformer.h.2.attn.c_attn.weight", | |
| "shape": [ | |
| 2304, | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 7077888, | |
| "byteOffset": 14229504 | |
| }, | |
| { | |
| "name": "transformer.h.3.attn.c_attn.weight", | |
| "shape": [ | |
| 2304, | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 7077888, | |
| "byteOffset": 21307392 | |
| } | |
| ], | |
| "md5sum": "23007ed9914f6fb9f04ccbd14426d358" | |
| }, | |
| { | |
| "dataPath": "params_shard_1.bin", | |
| "format": "raw-shard", | |
| "nbytes": 28311552, | |
| "records": [ | |
| { | |
| "name": "transformer.h.4.attn.c_attn.weight", | |
| "shape": [ | |
| 2304, | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 7077888, | |
| "byteOffset": 0 | |
| }, | |
| { | |
| "name": "transformer.h.5.attn.c_attn.weight", | |
| "shape": [ | |
| 2304, | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 7077888, | |
| "byteOffset": 7077888 | |
| }, | |
| { | |
| "name": "transformer.h.6.attn.c_attn.weight", | |
| "shape": [ | |
| 2304, | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 7077888, | |
| "byteOffset": 14155776 | |
| }, | |
| { | |
| "name": "transformer.h.7.attn.c_attn.weight", | |
| "shape": [ | |
| 2304, | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 7077888, | |
| "byteOffset": 21233664 | |
| } | |
| ], | |
| "md5sum": "34800fa175402b89912639d507ac052b" | |
| }, | |
| { | |
| "dataPath": "params_shard_2.bin", | |
| "format": "raw-shard", | |
| "nbytes": 33140736, | |
| "records": [ | |
| { | |
| "name": "transformer.h.8.attn.c_attn.weight", | |
| "shape": [ | |
| 2304, | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 7077888, | |
| "byteOffset": 0 | |
| }, | |
| { | |
| "name": "transformer.h.9.attn.c_attn.weight", | |
| "shape": [ | |
| 2304, | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 7077888, | |
| "byteOffset": 7077888 | |
| }, | |
| { | |
| "name": "transformer.h.10.attn.c_attn.weight", | |
| "shape": [ | |
| 2304, | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 7077888, | |
| "byteOffset": 14155776 | |
| }, | |
| { | |
| "name": "transformer.h.11.attn.c_attn.weight", | |
| "shape": [ | |
| 2304, | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 7077888, | |
| "byteOffset": 21233664 | |
| }, | |
| { | |
| "name": "transformer.h.0.attn.c_attn.bias", | |
| "shape": [ | |
| 2304 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 9216, | |
| "byteOffset": 28311552 | |
| }, | |
| { | |
| "name": "transformer.h.1.attn.c_attn.bias", | |
| "shape": [ | |
| 2304 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 9216, | |
| "byteOffset": 28320768 | |
| }, | |
| { | |
| "name": "transformer.h.2.attn.c_attn.bias", | |
| "shape": [ | |
| 2304 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 9216, | |
| "byteOffset": 28329984 | |
| }, | |
| { | |
| "name": "transformer.h.3.attn.c_attn.bias", | |
| "shape": [ | |
| 2304 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 9216, | |
| "byteOffset": 28339200 | |
| }, | |
| { | |
| "name": "transformer.h.4.attn.c_attn.bias", | |
| "shape": [ | |
| 2304 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 9216, | |
| "byteOffset": 28348416 | |
| }, | |
| { | |
| "name": "transformer.h.5.attn.c_attn.bias", | |
| "shape": [ | |
| 2304 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 9216, | |
| "byteOffset": 28357632 | |
| }, | |
| { | |
| "name": "transformer.h.6.attn.c_attn.bias", | |
| "shape": [ | |
| 2304 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 9216, | |
| "byteOffset": 28366848 | |
| }, | |
| { | |
| "name": "transformer.h.7.attn.c_attn.bias", | |
| "shape": [ | |
| 2304 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 9216, | |
| "byteOffset": 28376064 | |
| }, | |
| { | |
| "name": "transformer.h.8.attn.c_attn.bias", | |
| "shape": [ | |
| 2304 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 9216, | |
| "byteOffset": 28385280 | |
| }, | |
| { | |
| "name": "transformer.h.9.attn.c_attn.bias", | |
| "shape": [ | |
| 2304 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 9216, | |
| "byteOffset": 28394496 | |
| }, | |
| { | |
| "name": "transformer.h.10.attn.c_attn.bias", | |
| "shape": [ | |
| 2304 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 9216, | |
| "byteOffset": 28403712 | |
| }, | |
| { | |
| "name": "transformer.h.11.attn.c_attn.bias", | |
| "shape": [ | |
| 2304 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 9216, | |
| "byteOffset": 28412928 | |
| }, | |
| { | |
| "name": "transformer.h.0.attn.c_proj.weight", | |
| "shape": [ | |
| 768, | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 2359296, | |
| "byteOffset": 28422144 | |
| }, | |
| { | |
| "name": "transformer.h.1.attn.c_proj.weight", | |
| "shape": [ | |
| 768, | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 2359296, | |
| "byteOffset": 30781440 | |
| } | |
| ], | |
| "md5sum": "3bc3ef27da003e2e9a77760500ddaf55" | |
| }, | |
| { | |
| "dataPath": "params_shard_3.bin", | |
| "format": "raw-shard", | |
| "nbytes": 33140736, | |
| "records": [ | |
| { | |
| "name": "transformer.h.2.attn.c_proj.weight", | |
| "shape": [ | |
| 768, | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 2359296, | |
| "byteOffset": 0 | |
| }, | |
| { | |
| "name": "transformer.h.3.attn.c_proj.weight", | |
| "shape": [ | |
| 768, | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 2359296, | |
| "byteOffset": 2359296 | |
| }, | |
| { | |
| "name": "transformer.h.4.attn.c_proj.weight", | |
| "shape": [ | |
| 768, | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 2359296, | |
| "byteOffset": 4718592 | |
| }, | |
| { | |
| "name": "transformer.h.5.attn.c_proj.weight", | |
| "shape": [ | |
| 768, | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 2359296, | |
| "byteOffset": 7077888 | |
| }, | |
| { | |
| "name": "transformer.h.6.attn.c_proj.weight", | |
| "shape": [ | |
| 768, | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 2359296, | |
| "byteOffset": 9437184 | |
| }, | |
| { | |
| "name": "transformer.h.7.attn.c_proj.weight", | |
| "shape": [ | |
| 768, | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 2359296, | |
| "byteOffset": 11796480 | |
| }, | |
| { | |
| "name": "transformer.h.8.attn.c_proj.weight", | |
| "shape": [ | |
| 768, | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 2359296, | |
| "byteOffset": 14155776 | |
| }, | |
| { | |
| "name": "transformer.h.9.attn.c_proj.weight", | |
| "shape": [ | |
| 768, | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 2359296, | |
| "byteOffset": 16515072 | |
| }, | |
| { | |
| "name": "transformer.h.10.attn.c_proj.weight", | |
| "shape": [ | |
| 768, | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 2359296, | |
| "byteOffset": 18874368 | |
| }, | |
| { | |
| "name": "transformer.h.11.attn.c_proj.weight", | |
| "shape": [ | |
| 768, | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 2359296, | |
| "byteOffset": 21233664 | |
| }, | |
| { | |
| "name": "transformer.h.0.attn.c_proj.bias", | |
| "shape": [ | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 3072, | |
| "byteOffset": 23592960 | |
| }, | |
| { | |
| "name": "transformer.h.1.attn.c_proj.bias", | |
| "shape": [ | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 3072, | |
| "byteOffset": 23596032 | |
| }, | |
| { | |
| "name": "transformer.h.2.attn.c_proj.bias", | |
| "shape": [ | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 3072, | |
| "byteOffset": 23599104 | |
| }, | |
| { | |
| "name": "transformer.h.3.attn.c_proj.bias", | |
| "shape": [ | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 3072, | |
| "byteOffset": 23602176 | |
| }, | |
| { | |
| "name": "transformer.h.4.attn.c_proj.bias", | |
| "shape": [ | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 3072, | |
| "byteOffset": 23605248 | |
| }, | |
| { | |
| "name": "transformer.h.5.attn.c_proj.bias", | |
| "shape": [ | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 3072, | |
| "byteOffset": 23608320 | |
| }, | |
| { | |
| "name": "transformer.h.6.attn.c_proj.bias", | |
| "shape": [ | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 3072, | |
| "byteOffset": 23611392 | |
| }, | |
| { | |
| "name": "transformer.h.7.attn.c_proj.bias", | |
| "shape": [ | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 3072, | |
| "byteOffset": 23614464 | |
| }, | |
| { | |
| "name": "transformer.h.8.attn.c_proj.bias", | |
| "shape": [ | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 3072, | |
| "byteOffset": 23617536 | |
| }, | |
| { | |
| "name": "transformer.h.9.attn.c_proj.bias", | |
| "shape": [ | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 3072, | |
| "byteOffset": 23620608 | |
| }, | |
| { | |
| "name": "transformer.h.10.attn.c_proj.bias", | |
| "shape": [ | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 3072, | |
| "byteOffset": 23623680 | |
| }, | |
| { | |
| "name": "transformer.h.11.attn.c_proj.bias", | |
| "shape": [ | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 3072, | |
| "byteOffset": 23626752 | |
| }, | |
| { | |
| "name": "transformer.h.0.ln_2.weight", | |
| "shape": [ | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 3072, | |
| "byteOffset": 23629824 | |
| }, | |
| { | |
| "name": "transformer.h.1.ln_2.weight", | |
| "shape": [ | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 3072, | |
| "byteOffset": 23632896 | |
| }, | |
| { | |
| "name": "transformer.h.2.ln_2.weight", | |
| "shape": [ | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 3072, | |
| "byteOffset": 23635968 | |
| }, | |
| { | |
| "name": "transformer.h.3.ln_2.weight", | |
| "shape": [ | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 3072, | |
| "byteOffset": 23639040 | |
| }, | |
| { | |
| "name": "transformer.h.4.ln_2.weight", | |
| "shape": [ | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 3072, | |
| "byteOffset": 23642112 | |
| }, | |
| { | |
| "name": "transformer.h.5.ln_2.weight", | |
| "shape": [ | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 3072, | |
| "byteOffset": 23645184 | |
| }, | |
| { | |
| "name": "transformer.h.6.ln_2.weight", | |
| "shape": [ | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 3072, | |
| "byteOffset": 23648256 | |
| }, | |
| { | |
| "name": "transformer.h.7.ln_2.weight", | |
| "shape": [ | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 3072, | |
| "byteOffset": 23651328 | |
| }, | |
| { | |
| "name": "transformer.h.8.ln_2.weight", | |
| "shape": [ | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 3072, | |
| "byteOffset": 23654400 | |
| }, | |
| { | |
| "name": "transformer.h.9.ln_2.weight", | |
| "shape": [ | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 3072, | |
| "byteOffset": 23657472 | |
| }, | |
| { | |
| "name": "transformer.h.10.ln_2.weight", | |
| "shape": [ | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 3072, | |
| "byteOffset": 23660544 | |
| }, | |
| { | |
| "name": "transformer.h.11.ln_2.weight", | |
| "shape": [ | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 3072, | |
| "byteOffset": 23663616 | |
| }, | |
| { | |
| "name": "transformer.h.0.ln_2.bias", | |
| "shape": [ | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 3072, | |
| "byteOffset": 23666688 | |
| }, | |
| { | |
| "name": "transformer.h.1.ln_2.bias", | |
| "shape": [ | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 3072, | |
| "byteOffset": 23669760 | |
| }, | |
| { | |
| "name": "transformer.h.2.ln_2.bias", | |
| "shape": [ | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 3072, | |
| "byteOffset": 23672832 | |
| }, | |
| { | |
| "name": "transformer.h.3.ln_2.bias", | |
| "shape": [ | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 3072, | |
| "byteOffset": 23675904 | |
| }, | |
| { | |
| "name": "transformer.h.4.ln_2.bias", | |
| "shape": [ | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 3072, | |
| "byteOffset": 23678976 | |
| }, | |
| { | |
| "name": "transformer.h.5.ln_2.bias", | |
| "shape": [ | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 3072, | |
| "byteOffset": 23682048 | |
| }, | |
| { | |
| "name": "transformer.h.6.ln_2.bias", | |
| "shape": [ | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 3072, | |
| "byteOffset": 23685120 | |
| }, | |
| { | |
| "name": "transformer.h.7.ln_2.bias", | |
| "shape": [ | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 3072, | |
| "byteOffset": 23688192 | |
| }, | |
| { | |
| "name": "transformer.h.8.ln_2.bias", | |
| "shape": [ | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 3072, | |
| "byteOffset": 23691264 | |
| }, | |
| { | |
| "name": "transformer.h.9.ln_2.bias", | |
| "shape": [ | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 3072, | |
| "byteOffset": 23694336 | |
| }, | |
| { | |
| "name": "transformer.h.10.ln_2.bias", | |
| "shape": [ | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 3072, | |
| "byteOffset": 23697408 | |
| }, | |
| { | |
| "name": "transformer.h.11.ln_2.bias", | |
| "shape": [ | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 3072, | |
| "byteOffset": 23700480 | |
| }, | |
| { | |
| "name": "transformer.h.0.mlp.c_fc.weight", | |
| "shape": [ | |
| 3072, | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 9437184, | |
| "byteOffset": 23703552 | |
| } | |
| ], | |
| "md5sum": "31854bcfd1e8696dece65b47518b87b3" | |
| }, | |
| { | |
| "dataPath": "params_shard_4.bin", | |
| "format": "raw-shard", | |
| "nbytes": 28311552, | |
| "records": [ | |
| { | |
| "name": "transformer.h.1.mlp.c_fc.weight", | |
| "shape": [ | |
| 3072, | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 9437184, | |
| "byteOffset": 0 | |
| }, | |
| { | |
| "name": "transformer.h.2.mlp.c_fc.weight", | |
| "shape": [ | |
| 3072, | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 9437184, | |
| "byteOffset": 9437184 | |
| }, | |
| { | |
| "name": "transformer.h.3.mlp.c_fc.weight", | |
| "shape": [ | |
| 3072, | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 9437184, | |
| "byteOffset": 18874368 | |
| } | |
| ], | |
| "md5sum": "967b8189775a14280c96c82a222a2ff0" | |
| }, | |
| { | |
| "dataPath": "params_shard_5.bin", | |
| "format": "raw-shard", | |
| "nbytes": 28311552, | |
| "records": [ | |
| { | |
| "name": "transformer.h.4.mlp.c_fc.weight", | |
| "shape": [ | |
| 3072, | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 9437184, | |
| "byteOffset": 0 | |
| }, | |
| { | |
| "name": "transformer.h.5.mlp.c_fc.weight", | |
| "shape": [ | |
| 3072, | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 9437184, | |
| "byteOffset": 9437184 | |
| }, | |
| { | |
| "name": "transformer.h.6.mlp.c_fc.weight", | |
| "shape": [ | |
| 3072, | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 9437184, | |
| "byteOffset": 18874368 | |
| } | |
| ], | |
| "md5sum": "f843773afbb5f2cec9ac7baa18fb2d1f" | |
| }, | |
| { | |
| "dataPath": "params_shard_6.bin", | |
| "format": "raw-shard", | |
| "nbytes": 28311552, | |
| "records": [ | |
| { | |
| "name": "transformer.h.7.mlp.c_fc.weight", | |
| "shape": [ | |
| 3072, | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 9437184, | |
| "byteOffset": 0 | |
| }, | |
| { | |
| "name": "transformer.h.8.mlp.c_fc.weight", | |
| "shape": [ | |
| 3072, | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 9437184, | |
| "byteOffset": 9437184 | |
| }, | |
| { | |
| "name": "transformer.h.9.mlp.c_fc.weight", | |
| "shape": [ | |
| 3072, | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 9437184, | |
| "byteOffset": 18874368 | |
| } | |
| ], | |
| "md5sum": "e6dbc2df730448a99ee03e2b2b7db7ac" | |
| }, | |
| { | |
| "dataPath": "params_shard_7.bin", | |
| "format": "raw-shard", | |
| "nbytes": 28459008, | |
| "records": [ | |
| { | |
| "name": "transformer.h.10.mlp.c_fc.weight", | |
| "shape": [ | |
| 3072, | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 9437184, | |
| "byteOffset": 0 | |
| }, | |
| { | |
| "name": "transformer.h.11.mlp.c_fc.weight", | |
| "shape": [ | |
| 3072, | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 9437184, | |
| "byteOffset": 9437184 | |
| }, | |
| { | |
| "name": "transformer.h.0.mlp.c_fc.bias", | |
| "shape": [ | |
| 3072 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 12288, | |
| "byteOffset": 18874368 | |
| }, | |
| { | |
| "name": "transformer.h.1.mlp.c_fc.bias", | |
| "shape": [ | |
| 3072 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 12288, | |
| "byteOffset": 18886656 | |
| }, | |
| { | |
| "name": "transformer.h.2.mlp.c_fc.bias", | |
| "shape": [ | |
| 3072 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 12288, | |
| "byteOffset": 18898944 | |
| }, | |
| { | |
| "name": "transformer.h.3.mlp.c_fc.bias", | |
| "shape": [ | |
| 3072 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 12288, | |
| "byteOffset": 18911232 | |
| }, | |
| { | |
| "name": "transformer.h.4.mlp.c_fc.bias", | |
| "shape": [ | |
| 3072 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 12288, | |
| "byteOffset": 18923520 | |
| }, | |
| { | |
| "name": "transformer.h.5.mlp.c_fc.bias", | |
| "shape": [ | |
| 3072 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 12288, | |
| "byteOffset": 18935808 | |
| }, | |
| { | |
| "name": "transformer.h.6.mlp.c_fc.bias", | |
| "shape": [ | |
| 3072 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 12288, | |
| "byteOffset": 18948096 | |
| }, | |
| { | |
| "name": "transformer.h.7.mlp.c_fc.bias", | |
| "shape": [ | |
| 3072 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 12288, | |
| "byteOffset": 18960384 | |
| }, | |
| { | |
| "name": "transformer.h.8.mlp.c_fc.bias", | |
| "shape": [ | |
| 3072 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 12288, | |
| "byteOffset": 18972672 | |
| }, | |
| { | |
| "name": "transformer.h.9.mlp.c_fc.bias", | |
| "shape": [ | |
| 3072 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 12288, | |
| "byteOffset": 18984960 | |
| }, | |
| { | |
| "name": "transformer.h.10.mlp.c_fc.bias", | |
| "shape": [ | |
| 3072 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 12288, | |
| "byteOffset": 18997248 | |
| }, | |
| { | |
| "name": "transformer.h.11.mlp.c_fc.bias", | |
| "shape": [ | |
| 3072 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 12288, | |
| "byteOffset": 19009536 | |
| }, | |
| { | |
| "name": "transformer.h.0.mlp.c_proj.weight", | |
| "shape": [ | |
| 768, | |
| 3072 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 9437184, | |
| "byteOffset": 19021824 | |
| } | |
| ], | |
| "md5sum": "7d5d8531365b099e637a8fa0019af00b" | |
| }, | |
| { | |
| "dataPath": "params_shard_8.bin", | |
| "format": "raw-shard", | |
| "nbytes": 28311552, | |
| "records": [ | |
| { | |
| "name": "transformer.h.1.mlp.c_proj.weight", | |
| "shape": [ | |
| 768, | |
| 3072 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 9437184, | |
| "byteOffset": 0 | |
| }, | |
| { | |
| "name": "transformer.h.2.mlp.c_proj.weight", | |
| "shape": [ | |
| 768, | |
| 3072 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 9437184, | |
| "byteOffset": 9437184 | |
| }, | |
| { | |
| "name": "transformer.h.3.mlp.c_proj.weight", | |
| "shape": [ | |
| 768, | |
| 3072 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 9437184, | |
| "byteOffset": 18874368 | |
| } | |
| ], | |
| "md5sum": "605b25914c5d1814b6a87cd7ceb5bf4e" | |
| }, | |
| { | |
| "dataPath": "params_shard_9.bin", | |
| "format": "raw-shard", | |
| "nbytes": 28311552, | |
| "records": [ | |
| { | |
| "name": "transformer.h.4.mlp.c_proj.weight", | |
| "shape": [ | |
| 768, | |
| 3072 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 9437184, | |
| "byteOffset": 0 | |
| }, | |
| { | |
| "name": "transformer.h.5.mlp.c_proj.weight", | |
| "shape": [ | |
| 768, | |
| 3072 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 9437184, | |
| "byteOffset": 9437184 | |
| }, | |
| { | |
| "name": "transformer.h.6.mlp.c_proj.weight", | |
| "shape": [ | |
| 768, | |
| 3072 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 9437184, | |
| "byteOffset": 18874368 | |
| } | |
| ], | |
| "md5sum": "ffa9ce5855d4cbe6455facb4399663f0" | |
| }, | |
| { | |
| "dataPath": "params_shard_10.bin", | |
| "format": "raw-shard", | |
| "nbytes": 28311552, | |
| "records": [ | |
| { | |
| "name": "transformer.h.7.mlp.c_proj.weight", | |
| "shape": [ | |
| 768, | |
| 3072 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 9437184, | |
| "byteOffset": 0 | |
| }, | |
| { | |
| "name": "transformer.h.8.mlp.c_proj.weight", | |
| "shape": [ | |
| 768, | |
| 3072 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 9437184, | |
| "byteOffset": 9437184 | |
| }, | |
| { | |
| "name": "transformer.h.9.mlp.c_proj.weight", | |
| "shape": [ | |
| 768, | |
| 3072 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 9437184, | |
| "byteOffset": 18874368 | |
| } | |
| ], | |
| "md5sum": "0f5a870c04c9c095e1cf30f23c9e579e" | |
| }, | |
| { | |
| "dataPath": "params_shard_11.bin", | |
| "format": "raw-shard", | |
| "nbytes": 169046016, | |
| "records": [ | |
| { | |
| "name": "lm_head.weight", | |
| "shape": [ | |
| 55028, | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 169046016, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "e913e1b035726d5af7b6bebe91ca5600" | |
| }, | |
| { | |
| "dataPath": "params_shard_12.bin", | |
| "format": "raw-shard", | |
| "nbytes": 169046016, | |
| "records": [ | |
| { | |
| "name": "transformer.wte.weight", | |
| "shape": [ | |
| 55028, | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 169046016, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "e913e1b035726d5af7b6bebe91ca5600" | |
| }, | |
| { | |
| "dataPath": "params_shard_13.bin", | |
| "format": "raw-shard", | |
| "nbytes": 22063104, | |
| "records": [ | |
| { | |
| "name": "transformer.h.10.mlp.c_proj.weight", | |
| "shape": [ | |
| 768, | |
| 3072 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 9437184, | |
| "byteOffset": 0 | |
| }, | |
| { | |
| "name": "transformer.h.11.mlp.c_proj.weight", | |
| "shape": [ | |
| 768, | |
| 3072 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 9437184, | |
| "byteOffset": 9437184 | |
| }, | |
| { | |
| "name": "transformer.h.0.mlp.c_proj.bias", | |
| "shape": [ | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 3072, | |
| "byteOffset": 18874368 | |
| }, | |
| { | |
| "name": "transformer.h.1.mlp.c_proj.bias", | |
| "shape": [ | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 3072, | |
| "byteOffset": 18877440 | |
| }, | |
| { | |
| "name": "transformer.h.2.mlp.c_proj.bias", | |
| "shape": [ | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 3072, | |
| "byteOffset": 18880512 | |
| }, | |
| { | |
| "name": "transformer.h.3.mlp.c_proj.bias", | |
| "shape": [ | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 3072, | |
| "byteOffset": 18883584 | |
| }, | |
| { | |
| "name": "transformer.h.4.mlp.c_proj.bias", | |
| "shape": [ | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 3072, | |
| "byteOffset": 18886656 | |
| }, | |
| { | |
| "name": "transformer.h.5.mlp.c_proj.bias", | |
| "shape": [ | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 3072, | |
| "byteOffset": 18889728 | |
| }, | |
| { | |
| "name": "transformer.h.6.mlp.c_proj.bias", | |
| "shape": [ | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 3072, | |
| "byteOffset": 18892800 | |
| }, | |
| { | |
| "name": "transformer.h.7.mlp.c_proj.bias", | |
| "shape": [ | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 3072, | |
| "byteOffset": 18895872 | |
| }, | |
| { | |
| "name": "transformer.h.8.mlp.c_proj.bias", | |
| "shape": [ | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 3072, | |
| "byteOffset": 18898944 | |
| }, | |
| { | |
| "name": "transformer.h.9.mlp.c_proj.bias", | |
| "shape": [ | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 3072, | |
| "byteOffset": 18902016 | |
| }, | |
| { | |
| "name": "transformer.h.10.mlp.c_proj.bias", | |
| "shape": [ | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 3072, | |
| "byteOffset": 18905088 | |
| }, | |
| { | |
| "name": "transformer.h.11.mlp.c_proj.bias", | |
| "shape": [ | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 3072, | |
| "byteOffset": 18908160 | |
| }, | |
| { | |
| "name": "transformer.ln_f.weight", | |
| "shape": [ | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 3072, | |
| "byteOffset": 18911232 | |
| }, | |
| { | |
| "name": "transformer.ln_f.bias", | |
| "shape": [ | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 3072, | |
| "byteOffset": 18914304 | |
| }, | |
| { | |
| "name": "transformer.wpe.weight", | |
| "shape": [ | |
| 1024, | |
| 768 | |
| ], | |
| "dtype": "float32", | |
| "format": "raw", | |
| "nbytes": 3145728, | |
| "byteOffset": 18917376 | |
| } | |
| ], | |
| "md5sum": "9ec2e8bf42f82c144cfd2253047927c2" | |
| } | |
| ] | |
| } |