最近在做一个图像分类的小项目,用PyTorch写了个简单的CNN,训练到一半loss突然变成NaN了。我以为是框架的锅,又用TensorFlow和Paddle各复现了一遍,结果都在差不多的epoch出现同样的问题。学习率已经调到1e-4了,也加了梯度裁剪,数据也检查过没有脏数据。现在有点懵,这到底是框架的bug还是我模型结构或者loss函数哪里写炸了?有没有遇到过类似情况的朋友,求指点一下排查思路。
最近在做一个图像分类的小项目,用PyTorch写了个简单的CNN,训练到一半loss突然变成NaN了。我以为是框架的锅,又用TensorFlow和Paddle各复现了一遍,结果都在差不多的epoch出现同样的问题。学习率已经调到1e-4了,也加了梯度裁剪,数据也检查过没有脏数据。现在有点懵,这到底是框架的bug还是我模型结构或者loss函数哪里写炸了?有没有遇到过类似情况的朋友,求指点一下排查思路。
三个框架都崩说明大概率是你模型或数据的问题,重点查下log里有没有log(0)或者除零操作。