为什么7b和14b的seq_length不一样？
#13
by
yuyijiong
- opened
为什么7b和14b的seq_length不一样？
qwen-7b的seq_length=8192，qwen-14b的seq_length=2048，为什么要这样设置？
为什么qwen-14b的seq_len不设为8192？
yuyijiong
changed discussion title from
为什么7b和14b的seq_len不一样？
to 为什么7b和14b的seq_length不一样？
因为不支持。seq_length是训练中使用的最长的序列长度，不同模型不一样。
jklj077
changed discussion status to
closed
yuyijiong
changed discussion status to
open
所以7b模型训练时使用了8k长度的数据？为什么小模型的数据反而更长呢？
也没什么为什么…… 因为14B开源的时候，7B已经是开源第二版了？第一版7B也是2048的。
jklj077
changed discussion status to
closed