为什么模型大小不同？

fugubiao

别人的模型占用那么大？我有一个软件自带的模型

模型SAEHD
df128_SAEHD_data.dat  作者说100w，但是使用看到是33w,只能256分辨率，迭代速度慢（14 batch size 占用 7.2G显存） 24MB

DFD224F_SAEHD_data.dat 软件自带模型，10w，迭代速度快，512分辨率无压力， （16 batch size 占用 7.2G显存）出形快 15.8MB

new_SAEHD_data.dat 作者说300w，爆显存，2 batch size 都无法使用，即使256分辨率也无用 180MB


我想问
1.明明模型训练占用内存并不会变大，因为只是更新权重，而不会增大参数，为什么别人的模型和我的大小不同？
2.明明 df128_SAEHD_data.dat  貌似迭代只是比我多20w，但是为什么我只有256才能上14 batch size，估计512 后bs要更小才行，而且迭代速度慢很多！不理解！！！

赚个积分

模型分辨率和 模型三维对显存都有影响
同意的分辨率,不同的三维参数,需要的显存也不一样
模型迭代次数基本上没有用,迭代次数可以重置为0后继续训练或者修改迭代次数,迭代次数太大如果不重置为0,训练速度会变慢点
如果你是8G显存,就玩224分辨率的, bs开到4

fugubiao

赚个积分 发表于 2024-8-2 08:56
模型分辨率和 模型三维对显存都有影响
同意的分辨率,不同的三维参数,需要的显存也不一样
模型迭代次数基本 ...

感谢
我是8G显存，使用 df128_SAEHD_data.dat 这个模型我显存还有空余一些，是否bs 的选择也有说法？我一般只留900Mib左右的显存备用.
迭代次数没用为啥别人几百w的模型那么贵