1 128 1 128 1 128 1 1 768 1 1 3072 1 1 768 1 1 768 1 1 768 1 1 3072 1 1 768 1 1 768 1 1 768 1 1 3072 1 1 768 1 1 768 1 1 768 1 1 3072 1 1 768 1 1 768 1 1 768 1 1 3072 1 1 768 1 1 768 1 1 768 1 1 3072 1 1 768 1 1 768 1 1 768 1 1 3072 1 1 768 1 1 768 1 1 768 1 1 3072 1 1 768 1 1 768 1 1 768 1 1 3072 1 1 768 1 1 768 1 1 768 1 1 3072 1 1 768 1 1 768 1 1 768 1 1 3072 1 1 768 1 1 768 1 1 768 1 1 3072 1 1 768 1 1 768 30522 768 30522 768 30522 768 1 1 30522 768 1 1 30522 768 30522 768 1 128 1 128 768 2 768 2 768 2 768 1 1 2 768 1 1 2 768 2 768 1 128 1 128 768 1 128 768 1 128 768 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 512 768 512 768 512 768 1 1 512 768 1 1 512 768 1 128 512 768 1 128 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 128 768 1 128 768 1 128 768 1 1 128 768 1 1 128 768 1 1 768 1 128 768 1 1 768 1 128 768 1 1 768 1 128 768 1 1 768 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 768 768 768 768 768 768 768 1 768 768 768 1 768 768 1 128 768 768 768 1 128 768 1 1 768 1 128 768 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 128 768 3 2 3 2 2 1 1 2 1 1 4 1 128 768 4 1 128 12 64 4 1 128 12 64 4 1 12 128 64 1 1 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 768 768 768 768 768 768 768 1 768 768 768 1 768 768 1 128 768 768 768 1 128 768 1 1 768 1 128 768 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 128 768 3 2 3 2 2 1 1 2 1 1 4 1 128 768 4 1 128 12 64 4 1 128 12 64 4 1 12 64 128 1 1 1 1 1 12 64 128 1 1 1 1 1 12 64 128 1 12 128 64 1 12 64 128 1 12 128 128 1 1 1 1 1 1 128 1 1 1 128 1 1 1 128 1 1 1 1 128 1 1 1 128 1 1 1 128 1 1 1 1 1 1 1 128 1 1 1 128 1 1 1 1 1 1 1 128 1 1 1 1 1 1 1 128 1 12 128 128 1 1 1 128 1 12 128 128 1 12 128 128 1 12 128 128 1 1 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 768 768 768 768 768 768 768 1 768 768 768 1 768 768 1 128 768 768 768 1 128 768 1 1 768 1 128 768 1 128 768 4 1 128 768 4 1 128 12 64 4 1 128 12 64 4 1 12 128 64 1 12 128 128 1 12 128 64 1 12 128 64 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 12 128 64 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 12 128 64 4 1 12 128 64 4 1 128 12 64 3 1 128 12 64 3 1 128 768 768 768 768 768 768 768 768 1 768 768 768 1 768 768 1 128 768 768 768 1 128 768 1 1 768 1 128 768 1 128 768 1 128 768 1 128 768 1 128 768 1 1 128 768 1 1 128 768 1 1 768 1 128 768 1 1 768 1 128 768 1 1 768 1 128 768 1 1 768 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 3072 768 3072 768 3072 768 3072 1 3072 768 3072 1 3072 768 1 128 768 3072 768 1 128 3072 1 1 3072 1 128 3072 1 128 3072 1 128 3072 1 128 3072 1 1 1 1 1 1 1 1 1 1 1 1 1 128 3072 1 1 1 1 1 1 1 1 1 1 1 1 1 128 3072 768 3072 768 3072 768 3072 768 1 768 3072 768 1 768 3072 1 128 3072 768 3072 1 128 768 1 1 768 1 128 768 1 128 768 1 128 768 1 128 768 1 128 768 1 1 128 768 1 1 128 768 1 1 768 1 128 768 1 1 768 1 128 768 1 1 768 1 128 768 1 1 768 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 768 768 768 768 768 768 768 1 768 768 768 1 768 768 1 128 768 768 768 1 128 768 1 1 768 1 128 768 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 128 768 3 2 3 2 2 1 1 2 1 1 4 1 128 768 4 1 128 12 64 4 1 128 12 64 4 1 12 128 64 1 1 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 768 768 768 768 768 768 768 1 768 768 768 1 768 768 1 128 768 768 768 1 128 768 1 1 768 1 128 768 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 128 768 3 2 3 2 2 1 1 2 1 1 4 1 128 768 4 1 128 12 64 4 1 128 12 64 4 1 12 64 128 1 1 1 1 1 12 64 128 1 1 1 1 1 12 64 128 1 12 128 64 1 12 64 128 1 12 128 128 1 12 128 128 1 1 1 128 1 12 128 128 1 12 128 128 1 12 128 128 1 1 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 768 768 768 768 768 768 768 1 768 768 768 1 768 768 1 128 768 768 768 1 128 768 1 1 768 1 128 768 1 128 768 4 1 128 768 4 1 128 12 64 4 1 128 12 64 4 1 12 128 64 1 12 128 128 1 12 128 64 1 12 128 64 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 12 128 64 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 12 128 64 4 1 12 128 64 4 1 128 12 64 3 1 128 12 64 3 1 128 768 768 768 768 768 768 768 768 1 768 768 768 1 768 768 1 128 768 768 768 1 128 768 1 1 768 1 128 768 1 128 768 1 128 768 1 128 768 1 128 768 1 1 128 768 1 1 128 768 1 1 768 1 128 768 1 1 768 1 128 768 1 1 768 1 128 768 1 1 768 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 3072 768 3072 768 3072 768 3072 1 3072 768 3072 1 3072 768 1 128 768 3072 768 1 128 3072 1 1 3072 1 128 3072 1 128 3072 1 128 3072 1 128 3072 1 1 1 1 1 1 1 1 1 1 1 1 1 128 3072 1 1 1 1 1 1 1 1 1 1 1 1 1 128 3072 768 3072 768 3072 768 3072 768 1 768 3072 768 1 768 3072 1 128 3072 768 3072 1 128 768 1 1 768 1 128 768 1 128 768 1 128 768 1 128 768 1 128 768 1 1 128 768 1 1 128 768 1 1 768 1 128 768 1 1 768 1 128 768 1 1 768 1 128 768 1 1 768 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 768 768 768 768 768 768 768 1 768 768 768 1 768 768 1 128 768 768 768 1 128 768 1 1 768 1 128 768 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 128 768 3 2 3 2 2 1 1 2 1 1 4 1 128 768 4 1 128 12 64 4 1 128 12 64 4 1 12 128 64 1 1 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 768 768 768 768 768 768 768 1 768 768 768 1 768 768 1 128 768 768 768 1 128 768 1 1 768 1 128 768 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 128 768 3 2 3 2 2 1 1 2 1 1 4 1 128 768 4 1 128 12 64 4 1 128 12 64 4 1 12 64 128 1 1 1 1 1 12 64 128 1 1 1 1 1 12 64 128 1 12 128 64 1 12 64 128 1 12 128 128 1 12 128 128 1 1 1 128 1 12 128 128 1 12 128 128 1 12 128 128 1 1 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 768 768 768 768 768 768 768 1 768 768 768 1 768 768 1 128 768 768 768 1 128 768 1 1 768 1 128 768 1 128 768 4 1 128 768 4 1 128 12 64 4 1 128 12 64 4 1 12 128 64 1 12 128 128 1 12 128 64 1 12 128 64 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 12 128 64 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 12 128 64 4 1 12 128 64 4 1 128 12 64 3 1 128 12 64 3 1 128 768 768 768 768 768 768 768 768 1 768 768 768 1 768 768 1 128 768 768 768 1 128 768 1 1 768 1 128 768 1 128 768 1 128 768 1 128 768 1 128 768 1 1 128 768 1 1 128 768 1 1 768 1 128 768 1 1 768 1 128 768 1 1 768 1 128 768 1 1 768 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 3072 768 3072 768 3072 768 3072 1 3072 768 3072 1 3072 768 1 128 768 3072 768 1 128 3072 1 1 3072 1 128 3072 1 128 3072 1 128 3072 1 128 3072 1 1 1 1 1 1 1 1 1 1 1 1 1 128 3072 1 1 1 1 1 1 1 1 1 1 1 1 1 128 3072 768 3072 768 3072 768 3072 768 1 768 3072 768 1 768 3072 1 128 3072 768 3072 1 128 768 1 1 768 1 128 768 1 128 768 1 128 768 1 128 768 1 128 768 1 1 128 768 1 1 128 768 1 1 768 1 128 768 1 1 768 1 128 768 1 1 768 1 128 768 1 1 768 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 768 768 768 768 768 768 768 1 768 768 768 1 768 768 1 128 768 768 768 1 128 768 1 1 768 1 128 768 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 128 768 3 2 3 2 2 1 1 2 1 1 4 1 128 768 4 1 128 12 64 4 1 128 12 64 4 1 12 128 64 1 1 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 768 768 768 768 768 768 768 1 768 768 768 1 768 768 1 128 768 768 768 1 128 768 1 1 768 1 128 768 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 128 768 3 2 3 2 2 1 1 2 1 1 4 1 128 768 4 1 128 12 64 4 1 128 12 64 4 1 12 64 128 1 1 1 1 1 12 64 128 1 1 1 1 1 12 64 128 1 12 128 64 1 12 64 128 1 12 128 128 1 12 128 128 1 1 1 128 1 12 128 128 1 12 128 128 1 12 128 128 1 1 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 768 768 768 768 768 768 768 1 768 768 768 1 768 768 1 128 768 768 768 1 128 768 1 1 768 1 128 768 1 128 768 4 1 128 768 4 1 128 12 64 4 1 128 12 64 4 1 12 128 64 1 12 128 128 1 12 128 64 1 12 128 64 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 12 128 64 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 12 128 64 4 1 12 128 64 4 1 128 12 64 3 1 128 12 64 3 1 128 768 768 768 768 768 768 768 768 1 768 768 768 1 768 768 1 128 768 768 768 1 128 768 1 1 768 1 128 768 1 128 768 1 128 768 1 128 768 1 128 768 1 1 128 768 1 1 128 768 1 1 768 1 128 768 1 1 768 1 128 768 1 1 768 1 128 768 1 1 768 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 3072 768 3072 768 3072 768 3072 1 3072 768 3072 1 3072 768 1 128 768 3072 768 1 128 3072 1 1 3072 1 128 3072 1 128 3072 1 128 3072 1 128 3072 1 1 1 1 1 1 1 1 1 1 1 1 1 128 3072 1 1 1 1 1 1 1 1 1 1 1 1 1 128 3072 768 3072 768 3072 768 3072 768 1 768 3072 768 1 768 3072 1 128 3072 768 3072 1 128 768 1 1 768 1 128 768 1 128 768 1 128 768 1 128 768 1 128 768 1 1 128 768 1 1 128 768 1 1 768 1 128 768 1 1 768 1 128 768 1 1 768 1 128 768 1 1 768 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 768 768 768 768 768 768 768 1 768 768 768 1 768 768 1 128 768 768 768 1 128 768 1 1 768 1 128 768 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 128 768 3 2 3 2 2 1 1 2 1 1 4 1 128 768 4 1 128 12 64 4 1 128 12 64 4 1 12 128 64 1 1 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 768 768 768 768 768 768 768 1 768 768 768 1 768 768 1 128 768 768 768 1 128 768 1 1 768 1 128 768 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 128 768 3 2 3 2 2 1 1 2 1 1 4 1 128 768 4 1 128 12 64 4 1 128 12 64 4 1 12 64 128 1 1 1 1 1 12 64 128 1 1 1 1 1 12 64 128 1 12 128 64 1 12 64 128 1 12 128 128 1 12 128 128 1 1 1 128 1 12 128 128 1 12 128 128 1 12 128 128 1 1 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 768 768 768 768 768 768 768 1 768 768 768 1 768 768 1 128 768 768 768 1 128 768 1 1 768 1 128 768 1 128 768 4 1 128 768 4 1 128 12 64 4 1 128 12 64 4 1 12 128 64 1 12 128 128 1 12 128 64 1 12 128 64 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 12 128 64 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 12 128 64 4 1 12 128 64 4 1 128 12 64 3 1 128 12 64 3 1 128 768 768 768 768 768 768 768 768 1 768 768 768 1 768 768 1 128 768 768 768 1 128 768 1 1 768 1 128 768 1 128 768 1 128 768 1 128 768 1 128 768 1 1 128 768 1 1 128 768 1 1 768 1 128 768 1 1 768 1 128 768 1 1 768 1 128 768 1 1 768 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 3072 768 3072 768 3072 768 3072 1 3072 768 3072 1 3072 768 1 128 768 3072 768 1 128 3072 1 1 3072 1 128 3072 1 128 3072 1 128 3072 1 128 3072 1 1 1 1 1 1 1 1 1 1 1 1 1 128 3072 1 1 1 1 1 1 1 1 1 1 1 1 1 128 3072 768 3072 768 3072 768 3072 768 1 768 3072 768 1 768 3072 1 128 3072 768 3072 1 128 768 1 1 768 1 128 768 1 128 768 1 128 768 1 128 768 1 128 768 1 1 128 768 1 1 128 768 1 1 768 1 128 768 1 1 768 1 128 768 1 1 768 1 128 768 1 1 768 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 768 768 768 768 768 768 768 1 768 768 768 1 768 768 1 128 768 768 768 1 128 768 1 1 768 1 128 768 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 128 768 3 2 3 2 2 1 1 2 1 1 4 1 128 768 4 1 128 12 64 4 1 128 12 64 4 1 12 128 64 1 1 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 768 768 768 768 768 768 768 1 768 768 768 1 768 768 1 128 768 768 768 1 128 768 1 1 768 1 128 768 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 128 768 3 2 3 2 2 1 1 2 1 1 4 1 128 768 4 1 128 12 64 4 1 128 12 64 4 1 12 64 128 1 1 1 1 1 12 64 128 1 1 1 1 1 12 64 128 1 12 128 64 1 12 64 128 1 12 128 128 1 12 128 128 1 1 1 128 1 12 128 128 1 12 128 128 1 12 128 128 1 1 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 768 768 768 768 768 768 768 1 768 768 768 1 768 768 1 128 768 768 768 1 128 768 1 1 768 1 128 768 1 128 768 4 1 128 768 4 1 128 12 64 4 1 128 12 64 4 1 12 128 64 1 12 128 128 1 12 128 64 1 12 128 64 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 12 128 64 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 12 128 64 4 1 12 128 64 4 1 128 12 64 3 1 128 12 64 3 1 128 768 768 768 768 768 768 768 768 1 768 768 768 1 768 768 1 128 768 768 768 1 128 768 1 1 768 1 128 768 1 128 768 1 128 768 1 128 768 1 128 768 1 1 128 768 1 1 128 768 1 1 768 1 128 768 1 1 768 1 128 768 1 1 768 1 128 768 1 1 768 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 3072 768 3072 768 3072 768 3072 1 3072 768 3072 1 3072 768 1 128 768 3072 768 1 128 3072 1 1 3072 1 128 3072 1 128 3072 1 128 3072 1 128 3072 1 1 1 1 1 1 1 1 1 1 1 1 1 128 3072 1 1 1 1 1 1 1 1 1 1 1 1 1 128 3072 768 3072 768 3072 768 3072 768 1 768 3072 768 1 768 3072 1 128 3072 768 3072 1 128 768 1 1 768 1 128 768 1 128 768 1 128 768 1 128 768 1 128 768 1 1 128 768 1 1 128 768 1 1 768 1 128 768 1 1 768 1 128 768 1 1 768 1 128 768 1 1 768 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 768 768 768 768 768 768 768 1 768 768 768 1 768 768 1 128 768 768 768 1 128 768 1 1 768 1 128 768 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 128 768 3 2 3 2 2 1 1 2 1 1 4 1 128 768 4 1 128 12 64 4 1 128 12 64 4 1 12 128 64 1 1 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 768 768 768 768 768 768 768 1 768 768 768 1 768 768 1 128 768 768 768 1 128 768 1 1 768 1 128 768 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 128 768 3 2 3 2 2 1 1 2 1 1 4 1 128 768 4 1 128 12 64 4 1 128 12 64 4 1 12 64 128 1 1 1 1 1 12 64 128 1 1 1 1 1 12 64 128 1 12 128 64 1 12 64 128 1 12 128 128 1 12 128 128 1 1 1 128 1 12 128 128 1 12 128 128 1 12 128 128 1 1 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 768 768 768 768 768 768 768 1 768 768 768 1 768 768 1 128 768 768 768 1 128 768 1 1 768 1 128 768 1 128 768 4 1 128 768 4 1 128 12 64 4 1 128 12 64 4 1 12 128 64 1 12 128 128 1 12 128 64 1 12 128 64 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 12 128 64 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 12 128 64 4 1 12 128 64 4 1 128 12 64 3 1 128 12 64 3 1 128 768 768 768 768 768 768 768 768 1 768 768 768 1 768 768 1 128 768 768 768 1 128 768 1 1 768 1 128 768 1 128 768 1 128 768 1 128 768 1 128 768 1 1 128 768 1 1 128 768 1 1 768 1 128 768 1 1 768 1 128 768 1 1 768 1 128 768 1 1 768 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 3072 768 3072 768 3072 768 3072 1 3072 768 3072 1 3072 768 1 128 768 3072 768 1 128 3072 1 1 3072 1 128 3072 1 128 3072 1 128 3072 1 128 3072 1 1 1 1 1 1 1 1 1 1 1 1 1 128 3072 1 1 1 1 1 1 1 1 1 1 1 1 1 128 3072 768 3072 768 3072 768 3072 768 1 768 3072 768 1 768 3072 1 128 3072 768 3072 1 128 768 1 1 768 1 128 768 1 128 768 1 128 768 1 128 768 1 128 768 1 1 128 768 1 1 128 768 1 1 768 1 128 768 1 1 768 1 128 768 1 1 768 1 128 768 1 1 768 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 768 768 768 768 768 768 768 1 768 768 768 1 768 768 1 128 768 768 768 1 128 768 1 1 768 1 128 768 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 128 768 3 2 3 2 2 1 1 2 1 1 4 1 128 768 4 1 128 12 64 4 1 128 12 64 4 1 12 128 64 1 1 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 768 768 768 768 768 768 768 1 768 768 768 1 768 768 1 128 768 768 768 1 128 768 1 1 768 1 128 768 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 128 768 3 2 3 2 2 1 1 2 1 1 4 1 128 768 4 1 128 12 64 4 1 128 12 64 4 1 12 64 128 1 1 1 1 1 12 64 128 1 1 1 1 1 12 64 128 1 12 128 64 1 12 64 128 1 12 128 128 1 12 128 128 1 1 1 128 1 12 128 128 1 12 128 128 1 12 128 128 1 1 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 768 768 768 768 768 768 768 1 768 768 768 1 768 768 1 128 768 768 768 1 128 768 1 1 768 1 128 768 1 128 768 4 1 128 768 4 1 128 12 64 4 1 128 12 64 4 1 12 128 64 1 12 128 128 1 12 128 64 1 12 128 64 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 12 128 64 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 12 128 64 4 1 12 128 64 4 1 128 12 64 3 1 128 12 64 3 1 128 768 768 768 768 768 768 768 768 1 768 768 768 1 768 768 1 128 768 768 768 1 128 768 1 1 768 1 128 768 1 128 768 1 128 768 1 128 768 1 128 768 1 1 128 768 1 1 128 768 1 1 768 1 128 768 1 1 768 1 128 768 1 1 768 1 128 768 1 1 768 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 3072 768 3072 768 3072 768 3072 1 3072 768 3072 1 3072 768 1 128 768 3072 768 1 128 3072 1 1 3072 1 128 3072 1 128 3072 1 128 3072 1 128 3072 1 1 1 1 1 1 1 1 1 1 1 1 1 128 3072 1 1 1 1 1 1 1 1 1 1 1 1 1 128 3072 768 3072 768 3072 768 3072 768 1 768 3072 768 1 768 3072 1 128 3072 768 3072 1 128 768 1 1 768 1 128 768 1 128 768 1 128 768 1 128 768 1 128 768 1 1 128 768 1 1 128 768 1 1 768 1 128 768 1 1 768 1 128 768 1 1 768 1 128 768 1 1 768 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 768 768 768 768 768 768 768 1 768 768 768 1 768 768 1 128 768 768 768 1 128 768 1 1 768 1 128 768 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 128 768 3 2 3 2 2 1 1 2 1 1 4 1 128 768 4 1 128 12 64 4 1 128 12 64 4 1 12 128 64 1 1 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 768 768 768 768 768 768 768 1 768 768 768 1 768 768 1 128 768 768 768 1 128 768 1 1 768 1 128 768 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 128 768 3 2 3 2 2 1 1 2 1 1 4 1 128 768 4 1 128 12 64 4 1 128 12 64 4 1 12 64 128 1 1 1 1 1 12 64 128 1 1 1 1 1 12 64 128 1 12 128 64 1 12 64 128 1 12 128 128 1 12 128 128 1 1 1 128 1 12 128 128 1 12 128 128 1 12 128 128 1 1 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 768 768 768 768 768 768 768 1 768 768 768 1 768 768 1 128 768 768 768 1 128 768 1 1 768 1 128 768 1 128 768 4 1 128 768 4 1 128 12 64 4 1 128 12 64 4 1 12 128 64 1 12 128 128 1 12 128 64 1 12 128 64 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 12 128 64 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 12 128 64 4 1 12 128 64 4 1 128 12 64 3 1 128 12 64 3 1 128 768 768 768 768 768 768 768 768 1 768 768 768 1 768 768 1 128 768 768 768 1 128 768 1 1 768 1 128 768 1 128 768 1 128 768 1 128 768 1 128 768 1 1 128 768 1 1 128 768 1 1 768 1 128 768 1 1 768 1 128 768 1 1 768 1 128 768 1 1 768 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 3072 768 3072 768 3072 768 3072 1 3072 768 3072 1 3072 768 1 128 768 3072 768 1 128 3072 1 1 3072 1 128 3072 1 128 3072 1 128 3072 1 128 3072 1 1 1 1 1 1 1 1 1 1 1 1 1 128 3072 1 1 1 1 1 1 1 1 1 1 1 1 1 128 3072 768 3072 768 3072 768 3072 768 1 768 3072 768 1 768 3072 1 128 3072 768 3072 1 128 768 1 1 768 1 128 768 1 128 768 1 128 768 1 128 768 1 128 768 1 1 128 768 1 1 128 768 1 1 768 1 128 768 1 1 768 1 128 768 1 1 768 1 128 768 1 1 768 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 768 768 768 768 768 768 768 1 768 768 768 1 768 768 1 128 768 768 768 1 128 768 1 1 768 1 128 768 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 128 768 3 2 3 2 2 1 1 2 1 1 4 1 128 768 4 1 128 12 64 4 1 128 12 64 4 1 12 128 64 1 1 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 768 768 768 768 768 768 768 1 768 768 768 1 768 768 1 128 768 768 768 1 128 768 1 1 768 1 128 768 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 128 768 3 2 3 2 2 1 1 2 1 1 4 1 128 768 4 1 128 12 64 4 1 128 12 64 4 1 12 64 128 1 1 1 1 1 12 64 128 1 1 1 1 1 12 64 128 1 12 128 64 1 12 64 128 1 12 128 128 1 12 128 128 1 1 1 128 1 12 128 128 1 12 128 128 1 12 128 128 1 1 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 768 768 768 768 768 768 768 1 768 768 768 1 768 768 1 128 768 768 768 1 128 768 1 1 768 1 128 768 1 128 768 4 1 128 768 4 1 128 12 64 4 1 128 12 64 4 1 12 128 64 1 12 128 128 1 12 128 64 1 12 128 64 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 12 128 64 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 12 128 64 4 1 12 128 64 4 1 128 12 64 3 1 128 12 64 3 1 128 768 768 768 768 768 768 768 768 1 768 768 768 1 768 768 1 128 768 768 768 1 128 768 1 1 768 1 128 768 1 128 768 1 128 768 1 128 768 1 128 768 1 1 128 768 1 1 128 768 1 1 768 1 128 768 1 1 768 1 128 768 1 1 768 1 128 768 1 1 768 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 3072 768 3072 768 3072 768 3072 1 3072 768 3072 1 3072 768 1 128 768 3072 768 1 128 3072 1 1 3072 1 128 3072 1 128 3072 1 128 3072 1 128 3072 1 1 1 1 1 1 1 1 1 1 1 1 1 128 3072 1 1 1 1 1 1 1 1 1 1 1 1 1 128 3072 768 3072 768 3072 768 3072 768 1 768 3072 768 1 768 3072 1 128 3072 768 3072 1 128 768 1 1 768 1 128 768 1 128 768 1 128 768 1 128 768 1 128 768 1 1 128 768 1 1 128 768 1 1 768 1 128 768 1 1 768 1 128 768 1 1 768 1 128 768 1 1 768 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 768 768 768 768 768 768 768 1 768 768 768 1 768 768 1 128 768 768 768 1 128 768 1 1 768 1 128 768 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 128 768 3 2 3 2 2 1 1 2 1 1 4 1 128 768 4 1 128 12 64 4 1 128 12 64 4 1 12 128 64 1 1 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 768 768 768 768 768 768 768 1 768 768 768 1 768 768 1 128 768 768 768 1 128 768 1 1 768 1 128 768 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 128 768 3 2 3 2 2 1 1 2 1 1 4 1 128 768 4 1 128 12 64 4 1 128 12 64 4 1 12 64 128 1 1 1 1 1 12 64 128 1 1 1 1 1 12 64 128 1 12 128 64 1 12 64 128 1 12 128 128 1 12 128 128 1 1 1 128 1 12 128 128 1 12 128 128 1 12 128 128 1 1 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 768 768 768 768 768 768 768 1 768 768 768 1 768 768 1 128 768 768 768 1 128 768 1 1 768 1 128 768 1 128 768 4 1 128 768 4 1 128 12 64 4 1 128 12 64 4 1 12 128 64 1 12 128 128 1 12 128 64 1 12 128 64 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 12 128 64 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 12 128 64 4 1 12 128 64 4 1 128 12 64 3 1 128 12 64 3 1 128 768 768 768 768 768 768 768 768 1 768 768 768 1 768 768 1 128 768 768 768 1 128 768 1 1 768 1 128 768 1 128 768 1 128 768 1 128 768 1 128 768 1 1 128 768 1 1 128 768 1 1 768 1 128 768 1 1 768 1 128 768 1 1 768 1 128 768 1 1 768 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 3072 768 3072 768 3072 768 3072 1 3072 768 3072 1 3072 768 1 128 768 3072 768 1 128 3072 1 1 3072 1 128 3072 1 128 3072 1 128 3072 1 128 3072 1 1 1 1 1 1 1 1 1 1 1 1 1 128 3072 1 1 1 1 1 1 1 1 1 1 1 1 1 128 3072 768 3072 768 3072 768 3072 768 1 768 3072 768 1 768 3072 1 128 3072 768 3072 1 128 768 1 1 768 1 128 768 1 128 768 1 128 768 1 128 768 1 128 768 1 1 128 768 1 1 128 768 1 1 768 1 128 768 1 1 768 1 128 768 1 1 768 1 128 768 1 1 768 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 768 768 768 768 768 768 768 1 768 768 768 1 768 768 1 128 768 768 768 1 128 768 1 1 768 1 128 768 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 128 768 3 2 3 2 2 1 1 2 1 1 4 1 128 768 4 1 128 12 64 4 1 128 12 64 4 1 12 128 64 1 1 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 768 768 768 768 768 768 768 1 768 768 768 1 768 768 1 128 768 768 768 1 128 768 1 1 768 1 128 768 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 128 768 3 2 3 2 2 1 1 2 1 1 4 1 128 768 4 1 128 12 64 4 1 128 12 64 4 1 12 64 128 1 1 1 1 1 12 64 128 1 1 1 1 1 12 64 128 1 12 128 64 1 12 64 128 1 12 128 128 1 12 128 128 1 1 1 128 1 12 128 128 1 12 128 128 1 12 128 128 1 1 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 768 768 768 768 768 768 768 1 768 768 768 1 768 768 1 128 768 768 768 1 128 768 1 1 768 1 128 768 1 128 768 4 1 128 768 4 1 128 12 64 4 1 128 12 64 4 1 12 128 64 1 12 128 128 1 12 128 64 1 12 128 64 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 12 128 64 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 12 128 64 4 1 12 128 64 4 1 128 12 64 3 1 128 12 64 3 1 128 768 768 768 768 768 768 768 768 1 768 768 768 1 768 768 1 128 768 768 768 1 128 768 1 1 768 1 128 768 1 128 768 1 128 768 1 128 768 1 128 768 1 1 128 768 1 1 128 768 1 1 768 1 128 768 1 1 768 1 128 768 1 1 768 1 128 768 1 1 768 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 3072 768 3072 768 3072 768 3072 1 3072 768 3072 1 3072 768 1 128 768 3072 768 1 128 3072 1 1 3072 1 128 3072 1 128 3072 1 128 3072 1 128 3072 1 1 1 1 1 1 1 1 1 1 1 1 1 128 3072 1 1 1 1 1 1 1 1 1 1 1 1 1 128 3072 768 3072 768 3072 768 3072 768 1 768 3072 768 1 768 3072 1 128 3072 768 3072 1 128 768 1 1 768 1 128 768 1 128 768 1 128 768 1 128 768 1 128 768 1 1 128 768 1 1 128 768 1 1 768 1 128 768 1 1 768 1 128 768 1 1 768 1 128 768 1 1 768 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 1 1 1 1 1 1 1 1 1 1 1 1 128 768 1 128 768 1 768 768 768 768 768 768 768 768 1 768 768 768 1 768 768 1 768 768 768 1 768 1 768 1 768 1 768 1 768 1 1 1 1 1 1 1 1 1 768 1 1 1 1 1 1 1 1 1 768 1 768 1 768 1 1 1 1 1 1 1 1 1 768 1 1 1 1 1 1 1 1 1 768 2 768 2 768 2 768 2 1 2 768 2 1 2 768 1 768 2 768 1 2 1 2 1 2 1 2 1 2 1 2