THUDM

/

glm-4v-9b

like 207

可以跑起来。
报错原因：这是因为view()需要Tensor中的元素地址是连续的，但可能出现Tensor不连续的情况，所以先用 .contiguous()。将其在内存中变成连续分布即可。
解决方案：output = self.dense(out.transpose(1, 2).contiguous().view(B, L, -1))

您好，修改后又遇到这个问题

我也在修改后遇到了RuntimeError: shape '[51520, 1610, -1]' is invalid for input of size 6594560的问题

可以跑起来。
报错原因：这是因为view()需要Tensor中的元素地址是连续的，但可能出现Tensor不连续的情况，所以先用 .contiguous()。将其在内存中变成连续分布即可。
解决方案：output = self.dense(out.transpose(1, 2).contiguous().view(B, L, -1))

已经修复了

更新代码之后，还是会有这个问题
Error: 500, {"error":"An error occurred: shape '[51616, 1613, -1]' is invalid for input of size 6606848"}

我在torch==1.11，CUDA==11.3的V100上也遇到了同样的问题，在更换到torch==2.3.1,CUDA==12.1后的A100上后未出现相关问题，可能是torch版本问题，否则应该是某些依赖库版本的问题