PyTorch训练时loss突然变NaN，换TensorFlow就没问题，是我哪里写错了吗？

我之前也踩过这个坑，PyTorch的CrossEntropyLoss默认会对logits做log_softmax，但如果你自己网络里又加了softmax，那梯度就容易炸。另外检查下有没有用默认的ReLU初始化，TF的Keras对he初始化处理更友好，PyTorch里nn.Linear默认是kaiming_uniform，但某些层组合下还是会不稳。可以试试把loss打印出来看是第几个batch开始出NaN的，多半是某层输出突然爆了。

PyTorch这边跨框架复现踩坑太常见了。你可以重点查两个地方：一是损失函数，比如用CrossEntropyLoss时如果输入没做log_softmax，PyTorch的F.nll_loss在某些边界值上会直接爆NaN，TF的categorical_crossentropy默认from_logits=False处理不一样。二是优化器，Adam的eps默认1e-8，TF是1e-7，梯度小的时候PyTorch更容易数值不稳。另外看看有没有在AMP下跑，混合精度里loss scaling没配好也会第三四个epoch才炸。

我之前也踩过这个坑，PyTorch和TF在默认初始化上确实有差异，比如Conv层和Linear层的权重初始化方式不一样，TF的Glorot初始化有时更稳一些。你可以先试试手动把权重初始化成xavier或kaiming，再配合梯度裁剪看看。另外检查下有没有在loss里用了log或sqrt，PyTorch对0值更敏感，加个eps可能就解决了。还有个小细节，TF默认会做梯度聚合的数值稳定处理，PyTorch没有，所以偶尔炸一下挺正常的。

检查下是不是某个batchnorm的eps或者loss里的log没加clamp，TF那边默认帮你兜底了。

这个现象挺典型的，PyTorch和TF在数值稳定性上确实有些默认差异。你检查下损失函数那块，比如CrossEntropyLoss在PyTorch里默认会对logits做log_softmax，但如果你的模型输出已经过softmax或者手动加了log，就容易出问题，TF的Keras有时会帮你兜住。另外初始化也值得看看，PyTorch的默认初始化跟Keras的glorot不太一样，某些层如果权重初始方差偏大，前期没事但几个epoch后梯度累积就容易炸。还有个小坑是混合精度，如果你开了autocast但没配合GradScaler，NaN是家常便饭。建议你在训练循环里加个torch.autograd.set_detect_anomaly(True)跑一小段，能直接定位到是哪一步产生的NaN。也可以逐层打印梯度范数，看看是哪层先失控的，比盲调学习率有效多了。