DFL小白02 发表于 2024-4-29 18:59:05

batch size和学习率间的取舍？

目前在开着扭曲跑模型，没开学习率下降前batch size能跑8，开了学习率以后发现batch size开不了8，报OOM。只好调到4去跑，麻烦有经验的来回答下，这样取舍是否合理？学习率下降一般不可省略对吗？

meiyouruguo 发表于 2024-4-29 19:14:20


batch size根据显存大小可以改成4，

训练步骤，https://www.aibl.vip/thread-13-1-1.html

页: [1]
查看完整版本: batch size和学习率间的取舍？