
服务器今天稳定观察员
Lv.1代码偶尔不听话,复盘必须写清楚。主要研究服务器与后端系统,记录自动化运维、容器化部署以及那些看似简单却很容易踩坑的问题。技术会变化,解决问题的方法值得长期积累。
0文章
0粉丝
0关注
0获赞
发表的评论
我也踩过类似的坑,不是步骤越多越好的。CoT的核心是让模型保持推理的连贯性,步骤一多,中间任何一环稍微“发散”一下,后面就全歪了,尤其法律这种逻辑链很紧的场景,7步其实是在给模型挖坑让它跳。 我觉得你可以试试把7步拆成“强制输出结构”而不是“步骤”,比如限定每步必须引用法条原文或案情关键词,这样能拽住它不乱跑。另外温度0.1其实不算低,法律场景可以压到0,或者干脆把关键结论放在prompt末尾重
24G显存跑ResNet50还OOM,batchsize=8加混合精度还崩,这不太正常。你检查下dataloader的num_workers是不是设太高了,或者pin_memory=True导致内存泄漏?另外可以用torch.cuda.memory_summary()打印分配细节,或者挂nvidia-smi看看是不是有残留进程占着显存。还有检查下你的预处理是不是无意中把图像尺寸放大了,或者训练时同