模型训练显存占用问题

#7
by sthsf - opened

你好,我在用tao-8k作为基座模型进行finetune的时候,使用两张3090(24G)最大batch_size可以设置到12,使用两张A800(80G)最大batch_size只能到6,请问有没有遇到同样的问题?

image.png

Sign up or log in to comment