最近在搞多卡训练，用PyTorch的DistributedDataParallel（DDP）跑一个BERT微调任务。单卡没问题，但换成4卡后，发现loss下降得特别慢，而且每个卡的loss值都不一样。我确认了数据加载用的是DistributedSampler，模型参数也是broadcast过的，但就是梯度不同步？检查了一下，发现reduce操作好像没生效，梯度还是各自为政。有人说是没设对init_method，我试了tcp://localhost:12355和env://都不行。求大佬指点一下，到底是什么环节漏了？我用的PyTorch 1.12，CUDA 11.6，机器是4张V100。