最近在复现一个图像分类的模型,用的是PyTorch。训练前几个epoch都挺正常的,loss稳定下降,但大概到第5个epoch左右loss突然变成NaN了,之后就一直NaN。我试过调小学习率(从1e-3降到1e-4甚至1e-5),也加了梯度裁剪,但还是会在差不多的地方炸掉。网络里用了BatchNorm和ReLU,数据也做过归一化了。看网上说是梯度爆炸或者除零,但我不太会定位具体是哪一层出的问题。有没有大佬遇到过类似情况,一般怎么排查啊?