最近在调一个语义分割模型，单卡跑mIoU能到68左右，换到DistributedDataParallel开4卡训练，同样的数据和超参，结果掉到61，而且训练过程loss下降明显变慢。我确认了batch size是等效放大的（每卡8，总batch 32），学习率也按线性缩放调了，但就是复现不了单卡效果。查了下怀疑是BN的统计量在多卡间同步的问题，但我用的是PyTorch默认的BN，不是SyncBN，按理说每卡独立算BN应该没问题？还是说DDP下BN的running mean/var更新方式和单卡本来就不一样？有没有大佬遇到过类似情况，或者能指点一下排查方向？谢谢！